英偉達培訓世界上最大的轉換型語言模型

英偉達(Nvidia)今天宣布，它已經訓練出世界上最大的語言模型，這是這家GPU制造商旨在推進對話人工智能的一系列更新中的最新一個。

為了實現這一壯舉，Nvidia利用了模型并行性，將一個神經網絡分解成若干塊，并使用一種技術來創(chuàng)建太大而無法容納單個GPU內存的模型。該模型使用了83億個參數，比BERT大24倍，比OpenAI的GPT-2大5倍。

Nvidia還宣布了雙向編碼器表示(BERT)的最快訓練和推理時間，這是一種流行的模型，在2018年由谷歌開源時是最先進的。

Nvidia能夠使用優(yōu)化的PyTorch軟件和超過1000個gpu的DGX-SuperPOD來訓練BERT，耗時53分鐘。

Nvidia應用深度學習副總裁Bryan Catarazano在與記者和分析師的對話中表示:“如果沒有這種技術，可能需要數周時間來訓練這些大型語言模型。”

Nvidia還聲稱，它已經實現了最快的BERT推理時間，在特斯拉T4 GPU和TensorRT 5.1上運行，為數據中心推理進行了優(yōu)化，下降到2.2毫秒。卡塔拉薩諾說，當使用cpu時，伯特推理的時間可達40毫秒，而現在許多人工智能對話操作的時間可達10毫秒。

gpu也為微軟的Bing帶來了收益，后者使用Nvidia硬件將延遲時間縮短了一半。

今天介紹的每一項改進都是為了強調Nvidia的GPU在語言理解方面的性能提升。上述每一個壯舉的代碼今天都是開源的，以幫助人工智能從業(yè)者和研究人員探索大型語言模型的創(chuàng)建或使用gpu進行速度訓練或推理。

除了單詞錯誤率的大幅下降外，延遲的減少也是提高流行人工智能助手(如亞馬遜的Alexa、谷歌Assistant和百度的Duer)采用率的主要因素。

幾乎沒有延遲的交流將導致機器與人之間的對話，這種對話更像是人與人之間的對話，通常以思維的速度進行。

就像今年為微軟的Cortana、Alexa和谷歌Assistant引入的多回合對話功能一樣，與助手的實時交流也讓交互變得更加自然。

會話人工智能系統(tǒng)的發(fā)展水平在很大程度上圍繞著谷歌基于轉換的語言模型在2017年和BERT在2018年的發(fā)展。

從那以后，BERT就被微軟的MT-DNN、谷歌的XLNet和百度的ERNIE超越了，它們都建立在BERT的基礎上。Facebook在7月份推出了同樣源自BERT的RoBERTa。羅伯塔目前在GLUE基準排行榜上名列前茅，在9個語言任務中有4個是最好的。每個模型在粘合任務上的表現都優(yōu)于人類基線。