Google AI以更少的數(shù)據(jù)回答了基于文本的問題

Google Research的合著者本周發(fā)表的預(yù)印本研究描述了Entities as Experts(EAE)，這是一種新型的機(jī)器學(xué)習(xí)模型，可以訪問其中提到的實(shí)體(例如，人，地方，組織，日期，時(shí)間和數(shù)字)的記憶。一段示例文本。他們聲稱，它以更少的數(shù)據(jù)勝過兩個(gè)最新模型，同時(shí)捕獲了更多的事實(shí)知識(shí)，并且比其所基于的Transformers體系結(jié)構(gòu)更具模塊化和可解釋性。

如果同行評(píng)審能證明研究人員對(duì)EAE的主張，則可以解決長期存在的自然語言處理難題：無需注入特定于實(shí)體的知識(shí)，即可獲得回答世界問題所需的知識(shí)。在企業(yè)環(huán)境中，EAE可以為聊天機(jī)器人的基礎(chǔ)，該聊天機(jī)器人吸收特定于域的信息的語料庫，并使用最可能相關(guān)的信息回答有關(guān)語料庫的問題。

與所有深層神經(jīng)網(wǎng)絡(luò)一樣，EAE包含神經(jīng)元(數(shù)學(xué)功能)，這些神經(jīng)元分層次排列以傳輸來自輸入數(shù)據(jù)的信號(hào)并調(diào)整每個(gè)連接的強(qiáng)度(權(quán)重)。這樣便可以提取特征并學(xué)會(huì)進(jìn)行預(yù)測，但是由于EAE基于Transformer架構(gòu)，因此受到關(guān)注。這意味著每個(gè)輸出元素都連接到每個(gè)輸入元素，并且它們之間的權(quán)重是動(dòng)態(tài)計(jì)算的。

獨(dú)特的是，EAE還包含實(shí)體存儲(chǔ)層，使其能夠“理解”并以高度數(shù)據(jù)有效的方式回答有關(guān)文本的問題。該模型直接從文本中學(xué)習(xí)知識(shí)，以及其他模型參數(shù)(即，從數(shù)據(jù)估算出的配置變量，并且在進(jìn)行預(yù)測時(shí)模型需要此變量)，并將內(nèi)存與特定實(shí)體或數(shù)據(jù)類型(如標(biāo)題和數(shù)字表達(dá)式)相關(guān)聯(lián)。

正如合著者所解釋的那樣，“ [例如，]傳統(tǒng)的變形金剛需要用“查爾斯”和“達(dá)爾文”這兩個(gè)詞來構(gòu)建查爾斯·達(dá)爾文的內(nèi)部表示形式，這兩個(gè)詞也可以用來指代非常不同的實(shí)體，例如查爾斯河或達(dá)爾文市。相反，EAE可以訪問“ Charles Darwin”的專用表示形式，該表示形式存儲(chǔ)了先前提到該實(shí)體的所有上下文。對(duì)于達(dá)爾文的其他提及，例如“查爾斯·羅伯特·達(dá)爾文”或“自然選擇之父”，也可以訪問該表示形式。檢索并重新集成了此內(nèi)存后，EAE可以更輕松地將問題與答案相關(guān)聯(lián)。”