Facebook研究人員構(gòu)建了一個數(shù)據(jù)集來訓(xùn)練個性化對話代理

Facebook的研究人員最近編制了一個包含500萬個人物角色和7億個基于人物角色的對話的數(shù)據(jù)集。該數(shù)據(jù)庫可用于訓(xùn)練端到端對話系統(tǒng)，從而在計算機代理和人類之間產(chǎn)生更具吸引力和豐富的對話。

對話系統(tǒng)或會話代理(CA)是設(shè)計用于通過文本，語音，圖形或其他方法以連貫的方式與人類通信的計算機系統(tǒng)。到目前為止，已經(jīng)發(fā)現(xiàn)基于神經(jīng)架構(gòu)的對話系統(tǒng)(例如LSTM或存儲器網(wǎng)絡(luò))在實現(xiàn)流暢的通信方面特別有前途，特別是在直接對話對話日志時。

“他們的主要優(yōu)勢之一是他們可以依靠現(xiàn)有對話的大型數(shù)據(jù)源來學(xué)習(xí)覆蓋各種領(lǐng)域而無需任何專業(yè)知識，”研究人員在他們的論文中寫道，該論文已預(yù)先發(fā)布在arXiv上。“然而，另一方面，他們也表現(xiàn)出有限的參與度，特別是在閑聊環(huán)境中：他們?nèi)狈σ恢滦?，并且不會?甚至部分)腳本聊天機器人那樣利用主動參與策略。”

在最近的一項研究中，蒙特利爾學(xué)習(xí)算法研究所(MILA)和Facebook AI的另一組研究人員創(chuàng)建了一個名為PERSONA-CHAT 的數(shù)據(jù)集，其中包括與文本配置文件或人物角色相關(guān)聯(lián)的代理之間的對話。他們發(fā)現(xiàn)，針對特定角色培訓(xùn)對話系統(tǒng)可以提高他們對互動的參與度。

“然而，PERSONA-CHAT數(shù)據(jù)集是使用基于Mechanical Turk的人工數(shù)據(jù)收集機制創(chuàng)建的，”研究人員在他們的論文中解釋道。“因此，對話框和人物角色都不能完全代表真實的用戶 - 機器人交互，數(shù)據(jù)集覆蓋范圍仍然有限，包含超過1k個不同的角色。”

為了解決以前編譯的數(shù)據(jù)集的局限性，F(xiàn)acebook研究人員創(chuàng)建了一個新的，大規(guī)模的基于角色的對話數(shù)據(jù)集，由從在線平臺Reddit中提取的對話組成。他們的研究通過使用更具代表性的互動，使他們的前輩的工作更進(jìn)一步。

“在本文中，我們使用以前從Reddit中提取的對話構(gòu)建了一個非常大規(guī)模的基于角色的對話數(shù)據(jù)集，”研究人員寫道。“通過簡單的啟發(fā)式方法，我們創(chuàng)建了一個超過500萬個角色的語料庫，涵蓋超過7億個對話。”

為了評估其有效性，研究人員在他們新開發(fā)的數(shù)據(jù)集上訓(xùn)練了基于人物的端對端對話系統(tǒng)。受過數(shù)據(jù)集培訓(xùn)的系統(tǒng)能夠進(jìn)行更具吸引力的對話，優(yōu)于其他在培訓(xùn)期間無法訪問人物角色的會話代理。

有趣的是，他們的數(shù)據(jù)集導(dǎo)致了最先進(jìn)的結(jié)果，即使對話系統(tǒng)只是在其上進(jìn)行了預(yù)訓(xùn)練。將來，這些發(fā)現(xiàn)可能會導(dǎo)致更具吸引力的聊天機器人的發(fā)展，這些聊天機器人也可以個性化和訓(xùn)練以獲得特定的角色。

研究人員寫道：“我們表明，訓(xùn)練模型可以將答案與作者的角色和背景相結(jié)合，從而提高預(yù)測性能。” “由于預(yù)訓(xùn)練可以帶來相當(dāng)大的性能提升，未來的工作可以為各種對話系統(tǒng)微調(diào)這個模型。”