為什么這么多AI系統(tǒng)以Muppets命名?

人工智能的最大趨勢(shì)之一是機(jī)器學(xué)習(xí)模型的創(chuàng)建，該模型可以以前所未有的流暢度生成文字。這些程序可以改變游戲規(guī)則，可能會(huì)增強(qiáng)計(jì)算機(jī)解析和產(chǎn)生語(yǔ)言的能力。

但是，基本上沒(méi)有引起注意的是第二趨勢(shì)-第一個(gè)趨勢(shì)的陰影-也就是說(shuō)：這些工具中有驚人數(shù)量是以Muppets命名的。

迄今為止，語(yǔ)言認(rèn)可這個(gè)新的品種包括埃爾莫，一個(gè)BERT，一個(gè)格羅弗，一個(gè)大鳥(niǎo)，一個(gè)羅西塔，一個(gè)羅伯塔，至少2搖獎(jiǎng)S(三個(gè)IF你包括搖獎(jiǎng)2.0)，和KERMIT。像谷歌，F(xiàn)acebook和艾倫AI研究所這樣的大型科技公司都參與其中，并且這種熱潮遍布全球，搜索巨頭百度和北京清華大學(xué)都在提供模型。命名約定非常完善，以至于有時(shí)將這些系統(tǒng)稱(chēng)為“ Muppetware”。但是，誰(shuí)發(fā)起了約定，為什么?

您可能已經(jīng)猜到了，簡(jiǎn)單的答案是：這是個(gè)玩笑，研究人員以Muppets命名AI模型，因?yàn)槠渌芯咳藛T也以Muppets命名了AI模型。但這恰恰是一個(gè)笑話，突顯了AI研究的一個(gè)特殊特征，表明了實(shí)驗(yàn)室如何向彼此的工作表示敬意并以此為基礎(chǔ)。

2018年：語(yǔ)言模型論文必須引入芝麻街相關(guān)的縮寫(xiě)詞

2019年：語(yǔ)言模型論文的標(biāo)題中需要芝麻街的笑話，所有講座至少需要一張芝麻街的形象。

2020年：ACL / NAACL與芝麻街大會(huì)并列，Big Bird發(fā)表了主題演講。

-Miles Brundage(@Miles_Brundage)2019年6月11日

趨勢(shì)始于艾倫研究所設(shè)計(jì)的模型ELMo，該模型于2017年10月首次在網(wǎng)上發(fā)布。研究開(kāi)辟新天地的情況經(jīng)常發(fā)生，該工作背后的團(tuán)隊(duì)希望為其模型提供一個(gè)活潑的縮寫(xiě)。該論文的主要作者馬特·彼得斯(Matt Peters)通過(guò)電子郵件告訴The Verge，他們就Slack進(jìn)行了頭腦風(fēng)暴。

彼得斯說(shuō)：“我們有一個(gè)可用的縮寫(xiě)字母列表。”他說(shuō)：“語(yǔ)言模型，上下文，嵌入等。”是一位名叫喬爾·格魯斯(Joel Grus)的工程師，他提出了“ ELMo”來(lái)代表“來(lái)自語(yǔ)言模型的嵌入”，而名字“立即被卡住了”。

“我的大兒子當(dāng)時(shí)大約三歲，這也是我將紙獻(xiàn)給他的方式。”

彼得斯說(shuō)：“我喜歡它，因?yàn)樗行┕殴侄至钊穗y忘。”“我的大兒子當(dāng)時(shí)大約三歲，這也是我將紙獻(xiàn)給他的方式。”

如果不是BERT的話，ELMo可能是一次性的。BERT是Google的AI團(tuán)隊(duì)于2018年創(chuàng)建的一種語(yǔ)言模型。該模型被證明是強(qiáng)大而有影響力的，并將有關(guān)語(yǔ)言生成的許多新穎思想推向了AI主流。

BERT本身是Transformers雙向編碼器表示形式的正式代表，盡管Google拒絕了The Verge討論該名稱(chēng)起源的多次請(qǐng)求，但人們普遍認(rèn)為研究人員(如Allen的研究人員)都想到了Muppets。在Google自己關(guān)于該主題的博客文章中，該公司表示：“ BERT建立在對(duì)上下文表示進(jìn)行預(yù)訓(xùn)練的最新工作上，包括... ELMo。”

BERT通過(guò)大量測(cè)試獲得了最新的結(jié)果，并且非常成功，以至于Google最近將其納入了搜索引擎。模型發(fā)布后，Muppetware的閘門(mén)打開(kāi)了，隨后又出現(xiàn)了許多帶有蠻力縮寫(xiě)的聰明算法，包括ERNIE(通過(guò)知識(shí)集成的增強(qiáng)表示)，KERMIT(通過(guò)插入變換進(jìn)行的康沃爾編碼表示)和Big BIRD(文檔的雙向大插入表示)。

但是趨勢(shì)不僅僅是玩笑。正如艾倫研究所(Allen Institute)首席執(zhí)行官Oren Etzioni解釋的那樣，這也是在AI世界中認(rèn)識(shí)“智力債務(wù)”的一種嚴(yán)肅方法。“ ELMo因此一時(shí)興起，但是BERT直接建立在ELMo的洞察力之上;格羅弗(Grover)利用了BERT等。” Etzioni通過(guò)電子郵件告訴The Verge。“增強(qiáng)歸功于ELMo的信譽(yù)對(duì)我們非常重要……鼻煙壺不能緊隨其后!”

伯克利大學(xué)的博士生Mitchell Stern曾幫助創(chuàng)建KERMIT和Big BIRD，他說(shuō)命名慣例雖然很有趣，但也有“品牌方面”的意思。

在MUPPETS之后命名模型是一種識(shí)別知識(shí)債務(wù)的方法

斯特恩在電子郵件中告訴《The Verge》：“鑒于這種趨勢(shì)的普及程度，在這一領(lǐng)域工作的人們自然會(huì)認(rèn)識(shí)到包含芝麻街主題名稱(chēng)的新論文。”盡管并非所有使用這些新技術(shù)的AI語(yǔ)言模型都以Muppet命名(OpenAI經(jīng)常使用的GPT-2是一個(gè)例外，盡管“ Snuffleupagus或簡(jiǎn)稱(chēng)Snuffy”在被認(rèn)為太過(guò)輕率之前被視為一個(gè)名稱(chēng))，可以肯定的是，如果您看到了Muppetware模型，那么您就會(huì)知道它所使用的方法。

所有這些反過(guò)來(lái)又幫助我們理解AI世界如何依賴(lài)開(kāi)放性和協(xié)作來(lái)生成和完善想法。人工智能不是一門(mén)學(xué)科，只有科學(xué)家們晚上在實(shí)驗(yàn)室里辛苦勞作，通過(guò)處理器抽電，然后在發(fā)光的命令行上處理“它很活潑”。(免責(zé)聲明：這確實(shí)的確發(fā)生了，但它并不總是最有生產(chǎn)力的方法。)相反，進(jìn)步往往是迭代的和協(xié)作的，一群研究人員在彼此的工作和思想上建立了基礎(chǔ)。

雖然Muppetware的笑話可能很快就會(huì)變薄，但在這種情況發(fā)生之前，這是很合適的傳統(tǒng)。畢竟，協(xié)作和尊重正是芝麻街角色引以為傲的特征。