微軟研究院的Lin Xiao在NeurIPS上獲得時(shí)間測(cè)試獎(jiǎng)

在NeurIPS本周在加拿大溫哥華被檢查1400余件人工智能研究為他們的新方法或突破-但這些論文的一個(gè)不同于所有的休息。

微軟研究院的林嘯本周被任命為“時(shí)間測(cè)試獎(jiǎng)”的獲得者，該獎(jiǎng)項(xiàng)授予人工智能研究，該獎(jiǎng)項(xiàng)在過(guò)去10年中為人工智能領(lǐng)域做出了重要而持久的貢獻(xiàn)。

召集了一個(gè)特別委員會(huì)來(lái)回顧10年前在NeurIPS上發(fā)表的論文，并將列表縮小到對(duì)機(jī)器學(xué)習(xí)產(chǎn)生持久影響的18篇論文，在一定程度上衡量了這些論文在過(guò)去十年中獲得了最多引用。迄今為止，肖的論文被其他研究人員引用了600多次。

NeurIPS的組織者周日宣布了Xiao的工作，這是他的獲獎(jiǎng)?wù)撸谝粋€(gè)會(huì)議廳中詳細(xì)介紹了此后的結(jié)果和取得的進(jìn)展，參加會(huì)議的13,000名與會(huì)者中有1,000名。

肖在今天的舞臺(tái)上說(shuō)：“十年前，這次會(huì)議規(guī)模很小，但是我覺(jué)得它和一個(gè)相對(duì)年輕的研究員一樣令人興奮。” “當(dāng)時(shí)幾個(gè)非常激動(dòng)人心的主題相互碰撞，為這項(xiàng)工作創(chuàng)造了動(dòng)力。”

該論文的標(biāo)題為“ 正則隨機(jī)學(xué)習(xí)和在線(xiàn)優(yōu)化的雙重平均方法 ”，于2009年發(fā)表，提出了一種新的在線(xiàn)算法，稱(chēng)為正則雙重平均或RDA。

RDA專(zhuān)注于隨機(jī)梯度下降，它借鑒了1951年Robbins和Monro關(guān)于該主題的著作和“ 凸問(wèn)題的原始對(duì)偶次梯度方法 ”。

肖說(shuō)：“我想感謝尤里·內(nèi)斯特羅夫(Yurii Nesterov)教授在本文中的影響和啟發(fā)，以及我研究中的幾乎所有內(nèi)容。” “這項(xiàng)工作是他論文的簡(jiǎn)單延伸。”

去年的時(shí)間測(cè)試獎(jiǎng)得主，由Facebook AI Research的Leon Bottou和Google AI的Olivier Bousquet共同完成，其研究重點(diǎn)是用于大型機(jī)器學(xué)習(xí)的隨機(jī)梯度下降。

為了優(yōu)化RDA模型的性能，Xiao的工作結(jié)合了規(guī)則正則化，鼓勵(lì)通過(guò)在線(xiàn)學(xué)習(xí)來(lái)學(xué)習(xí)算法。稀疏正則化用于將模型中的某些權(quán)重設(shè)置為零，這是使隨機(jī)梯度下降更容易理解的一種方式。

“我相信RDA的動(dòng)機(jī)在今天仍然有效，因?yàn)橐环矫?，我們知道在線(xiàn)算法由于其處理的數(shù)據(jù)量而處于機(jī)器學(xué)習(xí)的主要階段的可能性。另一方面，我認(rèn)為稀疏性對(duì)于使我們適應(yīng)越來(lái)越大的模型至關(guān)重要。不管怎么說(shuō)，稀疏往往是有效的部分。”

本周早些時(shí)候，NeurIPS會(huì)議組織者還為新的AI研究授予了最高榮譽(yù)，其中包括分布式學(xué)習(xí)方面的杰出論文，以及認(rèn)為統(tǒng)一收斂可能無(wú)法解釋深度學(xué)習(xí)的普遍性的論文獲得了杰出新方向獎(jiǎng)?？梢栽诖薔eurIPS Medium帖子中看到更多獲得最高榮譽(yù)的研究成果。