卷積網(wǎng)絡(luò) 用于對齊和預(yù)測情緒注釋

耶魯研究人員報(bào)告說，機(jī)器學(xué)習(xí)技術(shù)可以比傳統(tǒng)方法更好地預(yù)測接受經(jīng)皮冠狀動(dòng)脈介入治療(PCI)的患者的出血風(fēng)險(xiǎn)。

研究小組使用機(jī)器學(xué)習(xí)分析了2009年至2015年心臟病學(xué)會(huì)(ACC)心血管數(shù)據(jù)登記處(NCDR)的數(shù)據(jù)，機(jī)器學(xué)習(xí)是人工智能的一個(gè)分支，能夠通過推斷數(shù)據(jù)模式來執(zhí)行任務(wù)。該數(shù)據(jù)庫包括在各地的醫(yī)院進(jìn)行的300多萬個(gè)程序。該團(tuán)隊(duì)發(fā)現(xiàn)，機(jī)器學(xué)習(xí)分析改善了PCI術(shù)后出血風(fēng)險(xiǎn)的預(yù)測(通常用于打開因斑塊積聚而縮小的血管)，這可以更好地為患者和醫(yī)生的決策提供信息。

“我們發(fā)現(xiàn)機(jī)器學(xué)習(xí)可能使我們能夠比傳統(tǒng)方法更好地提高我們預(yù)測風(fēng)險(xiǎn)的能力，”耶魯大學(xué)心臟病專家兼耶魯紐黑文醫(yī)院成果研究與評估中心(CORE)主任Harlan Krumholz博士說。“重要的是，關(guān)鍵在于如何在分析開始之前處理有關(guān)患者的信息。未來這些技術(shù)將使我們能夠在更大程度上個(gè)性化估計(jì)。”

該團(tuán)隊(duì)包括臨床醫(yī)生，臨床科學(xué)家和數(shù)據(jù)科學(xué)家。該研究是首批將機(jī)器學(xué)習(xí)應(yīng)用于ACC大規(guī)模注冊的研究之一。CORE是心血管計(jì)算健康研究所ACC的合作伙伴，該項(xiàng)目是該合作的首批產(chǎn)品之一。

能夠識別和預(yù)測人類情感的機(jī)器學(xué)習(xí)模型在過去幾年中變得越來越流行。然而，為了使大多數(shù)這些技術(shù)表現(xiàn)良好，用于訓(xùn)練它們的數(shù)據(jù)首先由人類受試者注釋。此外，情緒會(huì)隨著時(shí)間的推移而不斷變化，這使得視頻或錄音的注釋特別具有挑戰(zhàn)性，通常會(huì)導(dǎo)致標(biāo)簽和錄音之間出現(xiàn)差異。

為了解決這一局限，密歇根大學(xué)的研究人員最近開發(fā)了一種新的卷積神經(jīng)網(wǎng)絡(luò)，可以同時(shí)以端到端的方式對齊和預(yù)測情緒注釋。他們在IEEE Transactions on Affective Computing上發(fā)表的一篇論文中介紹了他們的技術(shù)，稱為多延遲同步(MDS)網(wǎng)絡(luò)。

“情緒在時(shí)間上不斷變化;它在我們的談話中消退和流動(dòng)”Emily Mower Provost，開展這項(xiàng)研究的研究人員之一告訴TechXplore。“在工程學(xué)中，我們經(jīng)常使用情感的連續(xù)描述來衡量情緒的變化。然后我們的目標(biāo)就是從言語中預(yù)測這些連續(xù)的測量。但是有一個(gè)問題。使用連續(xù)情感描述的最大挑戰(zhàn)之一是它要求我們的標(biāo)簽在時(shí)間上不斷變化。這是由人類注釋器團(tuán)隊(duì)完成的。但是，人們不是機(jī)器。“

正如Mower Provost接著解釋的那樣，人類注釋者有時(shí)可以更加適應(yīng)特定的情感線索(例如，笑聲)，但卻忽略了其他線索背后的含義(例如，憤怒的嘆息)。除此之外，人類可能需要一些時(shí)間來處理錄音，因此，他們對情緒線索的反應(yīng)有時(shí)會(huì)被延遲。因此，連續(xù)情緒標(biāo)簽可能會(huì)出現(xiàn)很多變化，有時(shí)會(huì)與數(shù)據(jù)中的語音不對齊。

在他們的研究中，Mower Provost和她的同事直接解決了這些挑戰(zhàn)，重點(diǎn)關(guān)注兩種連續(xù)的情緒測量：積極性(效價(jià))和能量(激活/喚醒)。他們引入了多延遲同步網(wǎng)絡(luò)，這是一種處理語音和連續(xù)注釋之間錯(cuò)位的新方法，它對不同類型的聲學(xué)線索做出不同反應(yīng)。

“情緒的時(shí)間連續(xù)維度描述(例如，覺醒，效價(jià))提供了關(guān)于短時(shí)間變化和情緒表達(dá)的長期趨勢的詳細(xì)信息，”參與該研究的另一位研究員Soheil Khorram告訴TechXplore。“我們研究的主要目標(biāo)是開發(fā)一種能夠從語音信號中估計(jì)時(shí)間連續(xù)的維度情感的自動(dòng)情緒識別系統(tǒng)。該系統(tǒng)可以在不同的領(lǐng)域包括許多實(shí)際應(yīng)用，包括人機(jī)交互，電子學(xué)習(xí)，市場營銷，醫(yī)療保健，和法律。“

由Mower Provost，Khorram及其同事開發(fā)的卷積網(wǎng)絡(luò)有兩個(gè)關(guān)鍵部分，一個(gè)用于情緒預(yù)測，一個(gè)用于對齊。情緒預(yù)測組件是訓(xùn)練用于識別聲學(xué)特征和情緒標(biāo)簽之間的關(guān)系的常見卷積體系結(jié)構(gòu)。

另一方面，對準(zhǔn)組件是由研究人員引入的新層(即延遲同步層)，其將可學(xué)習(xí)的時(shí)移應(yīng)用于聲學(xué)信號。研究人員通過合并這些層中的幾個(gè)來補(bǔ)償延遲的變化。

“開發(fā)用于從語音中預(yù)測時(shí)間連續(xù)情緒標(biāo)簽的自動(dòng)系統(tǒng)的一個(gè)重要挑戰(zhàn)是這些標(biāo)簽通常與輸入語音不同步，”Khorram解釋說。“這主要是由于反應(yīng)時(shí)間引起的延遲，這是人類評估所固有的。與其他方法相比，我們的卷積神經(jīng)網(wǎng)絡(luò)能夠以端到端的方式同時(shí)對齊和預(yù)測標(biāo)簽。同步網(wǎng)絡(luò)利用現(xiàn)代深度學(xué)習(xí)架構(gòu)中的傳統(tǒng)信號處理概念(即同步過濾)來處理反應(yīng)延遲問題。“

研究人員使用兩個(gè)公開可用的數(shù)據(jù)集，即RECOLA和SEWA數(shù)據(jù)集，在一系列實(shí)驗(yàn)中評估了他們的技術(shù)。他們發(fā)現(xiàn)在訓(xùn)練情緒識別模型時(shí)補(bǔ)償注釋者的反應(yīng)延遲導(dǎo)致模型的情緒識別準(zhǔn)確性得到顯著改善。

他們還觀察到，在定義連續(xù)情感標(biāo)簽時(shí)，注釋器的反應(yīng)延遲通常不超過7.5秒。最后，他們的研究結(jié)果表明，與其他情緒線索相比，包含笑聲的詞性通常需要較小的延遲成分。換句話說，注釋者通常更容易在包括笑聲的語音段中定義情感標(biāo)簽。

“情感無處不在，它是我們溝通的核心，”Mower Provost說。“我們正在建立強(qiáng)大而通用的情感識別系統(tǒng)，以便人們可以輕松訪問和使用這些信息。這一目標(biāo)的一部分是通過創(chuàng)建能夠有效使用大型外部數(shù)據(jù)源的算法來實(shí)現(xiàn)的，無論是否標(biāo)記，以及通過有效地建模自然動(dòng)態(tài)是我們情感交流的一部分。另一部分是通過理解標(biāo)簽本身固有的所有復(fù)雜性來實(shí)現(xiàn)的。“

雖然Mower Provost，Khorram及其同事將他們的技術(shù)應(yīng)用于情感識別任務(wù)，但它也可用于增強(qiáng)其他輸入和輸出不完全一致的機(jī)器學(xué)習(xí)應(yīng)用。在他們未來的工作中，研究人員計(jì)劃繼續(xù)研究人類注釋器產(chǎn)生的情感標(biāo)簽可以有效地整合到數(shù)據(jù)中的方式。

“我們使用同步濾波器來逼近Dirac delta函數(shù)并補(bǔ)償延遲。但是，也可以使用其他函數(shù)，如高斯和三角函數(shù)，而不是同步內(nèi)核，”Khorram說。“我們未來的工作將探索使用可以逼近Dirac delta函數(shù)的不同類型的內(nèi)核的效果。此外，在本文中我們專注于預(yù)測連續(xù)情緒注釋的語音模態(tài)，而提出的多延遲同步網(wǎng)絡(luò)是合理的其他輸入模式的建模技術(shù)。未來的另一個(gè)計(jì)劃是評估所提出的網(wǎng)絡(luò)相對于其他生理和行為模式的表現(xiàn)，例如：視頻，肢體語言和腦電圖。