谷歌的實體作為專家AI回答基于文本的問題與較少的數(shù)據(jù)

谷歌研究公司(Google Research)的合著者本周發(fā)表的一項預印研究將實體描述為專家(EAE)，這是一種新型的機器學習模型，可以訪問樣本文本中提到的實體(例如，人、地點、組織、日期、時間和數(shù)字)的記憶。 他們聲稱，它的性能優(yōu)于兩個最先進的模型，數(shù)據(jù)少得多，同時捕捉更多的事實知識，并且比它所基于的變形金剛體系結(jié)構(gòu)更模塊化和更可解釋。

如果同行評審證實了研究人員對EAE的說法，它可以解決一個長期存在的自然語言處理挑戰(zhàn)：在不注入特定實體知識的情況下獲得回答世界問題所需的知識。 在企業(yè)環(huán)境中，EAE可以為攝入特定領域信息語料庫的聊天機器人奠定基礎，并用最有可能相關的信息回答有關語料庫的問題。

EAE包含神經(jīng)元(數(shù)學函數(shù))，它們排列在從輸入數(shù)據(jù)傳輸信號并調(diào)整每個連接的強度(權(quán)重)的層中，就像所有深層神經(jīng)網(wǎng)絡一樣。 這就是它如何提取特征并學會進行預測，但是由于EAE是基于變壓器架構(gòu)的，所以它受到了關注。 這意味著每個輸出元素都連接到每個輸入元素，并且動態(tài)計算它們之間的權(quán)重。

獨特的是，EAE還包含實體內(nèi)存層，使其能夠“理解”并以高度數(shù)據(jù)效率的方式回答有關文本的問題。 該模型直接從文本中學習知識，以及其他模型參數(shù)(即從數(shù)據(jù)中估計的配置變量和模型在進行預測時所需的配置變量)，并將內(nèi)存與特定實體或數(shù)據(jù)類型(如標題和數(shù)字表達式)聯(lián)系起來。