谷歌大腦的XLNet在20個(gè)NLP任務(wù)中勝過(guò)BERT

谷歌大腦和卡內(nèi)基梅隆大學(xué)(Carnegie Mellon University)的一組研究人員本周介紹了XLNet，這是一種人工智能模型，能夠在20項(xiàng)NLP任務(wù)中勝過(guò)谷歌的前沿BERT，并在18項(xiàng)基準(zhǔn)測(cè)試任務(wù)中獲得最先進(jìn)的結(jié)果。BERT(來(lái)自Transform的雙向編碼器表示)是谷歌的語(yǔ)言表示模型，用于NLP模型的無(wú)監(jiān)督預(yù)訓(xùn)練，于去年秋天首次引入。

XLNet在幾個(gè)任務(wù)中實(shí)現(xiàn)了最先進(jìn)的性能，包括7個(gè)GLUE語(yǔ)言理解任務(wù)、3個(gè)閱讀理解任務(wù)(比如SQuAD)和7個(gè)文本分類任務(wù)(包括處理Yelp和IMDB數(shù)據(jù)集)。與BERT相比，使用XLNet進(jìn)行文本分類的錯(cuò)誤率顯著降低了16%。2018年秋，谷歌開放了BERT的源代碼。

XLNet利用了最佳的自回歸和自編碼方法，這些方法用于無(wú)監(jiān)督的預(yù)訓(xùn)練，在arXiv周三發(fā)表的一篇論文中詳細(xì)介紹了各種技術(shù)。

“XLNet是一種廣義的自回歸前訓(xùn)練方法，它通過(guò)最大化因子分解順序所有排列的期望可能性來(lái)實(shí)現(xiàn)雙向上下文學(xué)習(xí)，并且[……]克服了BERT的局限性，這得益于它的自回歸公式，”論文寫道。

這個(gè)模型的名字來(lái)源于Transformer-XL，這是一個(gè)自回歸模型，今年1月由同一組研究人員發(fā)布。XLNet采用Transformer-XL的片段遞歸機(jī)制前訓(xùn)練方法和相關(guān)編碼方案。該模型還借鑒了NADE，后者是由來(lái)自谷歌DeepMind、Twitter和學(xué)術(shù)界的研究人員創(chuàng)建的，用于其排列語(yǔ)言建模方法。

XLNet是最近出現(xiàn)的性能優(yōu)于BERT的NLP模型。微軟人工智能研究人員在5月份引入了多任務(wù)深度神經(jīng)網(wǎng)絡(luò)(MT-DNN)。該模型以BERT為基礎(chǔ)，但在大量理解GLUE語(yǔ)言的基準(zhǔn)性能任務(wù)上取得了較好的性能。