Google AI以更少的數(shù)據回答了基于文本的問題

Google Research的合著者本周發(fā)表的預印本研究描述了Entities as Experts(EAE)，這是一種新型的機器學習模型，可以訪問其中提到的實體(例如，人，地方，組織，日期，時間和數(shù)字)的記憶。一段示例文本。他們聲稱，它以更少的數(shù)據勝過兩個最新模型，同時捕獲了更多的事實知識，并且比其所基于的Transformers體系結構更具模塊化和可解釋性。

如果同行評審能證明研究人員對EAE的主張，則可以解決長期存在的自然語言處理難題：無需注入特定于實體的知識，即可獲得回答世界問題所需的知識。在企業(yè)環(huán)境中，EAE可以為聊天機器人的基礎，該聊天機器人吸收特定于域的信息的語料庫，并使用最可能相關的信息回答有關語料庫的問題。

與所有深層神經網絡一樣，EAE包含神經元(數(shù)學功能)，這些神經元分層次排列以傳輸來自輸入數(shù)據的信號并調整每個連接的強度(權重)。這樣便可以提取特征并學會進行預測，但是由于EAE基于Transformer架構，因此受到關注。這意味著每個輸出元素都連接到每個輸入元素，并且它們之間的權重是動態(tài)計算的。

獨特的是，EAE還包含實體存儲層，使其能夠“理解”并以高度數(shù)據有效的方式回答有關文本的問題。該模型直接從文本中學習知識，以及其他模型參數(shù)(即，從數(shù)據估算出的配置變量，并且在進行預測時模型需要此變量)，并將內存與特定實體或數(shù)據類型(如標題和數(shù)字表達式)相關聯(lián)。

正如合著者所解釋的那樣，“ [例如，]傳統(tǒng)的變形金剛需要用“查爾斯”和“達爾文”這兩個詞來構建查爾斯·達爾文的內部表示形式，這兩個詞也可以用來指代非常不同的實體，例如查爾斯河或達爾文市。相反，EAE可以訪問“ Charles Darwin”的專用表示形式，該表示形式存儲了先前提到該實體的所有上下文。對于達爾文的其他提及，例如“查爾斯·羅伯特·達爾文”或“自然選擇之父”，也可以訪問該表示形式。檢索并重新集成了此內存后，EAE可以更輕松地將問題與答案相關聯(lián)。”