Meta 發(fā)布 Megabyte AI 模型抗衡 Transformer 速度提高40%

2023-05-31 18:28:04 編輯：金淑眉來(lái)源：

導(dǎo)讀 Meta 發(fā)布 Megabyte AI 模型抗衡 Transformer ，新研發(fā)的這款A(yù)I模型能夠解決Transformer 目前所面臨的問(wèn)題，速度提升40%。Transform

Meta 發(fā)布 Megabyte AI 模型抗衡 Transformer ，新研發(fā)的這款A(yù)I模型能夠解決Transformer 目前所面臨的問(wèn)題，速度提升40%。

Transformer屬于當(dāng)下超流行的一種AI型,尤其在自然語(yǔ)言處理等領(lǐng)域被廣泛的應(yīng)用。這款模型的序列數(shù)據(jù)處理方式是逐步進(jìn)化的，無(wú)法并行化處理，所以訓(xùn)練速度比較慢。如果想要處理長(zhǎng)序列則比較困難，在反向傳播過(guò)程中，梯度很容易消失或者爆炸。處理語(yǔ)言的過(guò)程中，需要將每一步的操作歷史完整保留下來(lái)，會(huì)消耗巨大的內(nèi)存。

Megabyte AI 模型把輸入序列以及輸出序列劃分為patch，使用這種架構(gòu)能夠?qū)Υ蠖鄶?shù)人物而言的字節(jié)級(jí)別預(yù)測(cè)會(huì)更加容易，內(nèi)部預(yù)測(cè)能夠使用更小的模型進(jìn)行，而且在大型網(wǎng)絡(luò)中也能夠精簡(jiǎn)字符，讓工作效率得到大幅度的提升。