人工智能能否推動(dòng)個(gè)人助理設(shè)備和手語的創(chuàng)新

推進(jìn)技術(shù)創(chuàng)新和對抗與手語相關(guān)的數(shù)據(jù)甜點(diǎn)一直是AI for Accessibility計(jì)劃的重點(diǎn)領(lǐng)域。為了實(shí)現(xiàn)這些目標(biāo)，該團(tuán)隊(duì)在 2019 年舉辦了手語研討會(huì)，征求該領(lǐng)域頂尖研究人員的申請。亞伯拉罕·格拉瑟，博士 計(jì)算機(jī)和信息科學(xué)專業(yè)的學(xué)生和一位本土手語 (ASL) 的簽名者，由 Matt Huenerfauth 教授監(jiān)督，獲得了為期三年的資助。他的工作將專注于一個(gè)非常務(wù)實(shí)的需求和機(jī)會(huì)：通過專注于并改善與使用手語作為主要交流形式的人們的家庭智能助手的常見互動(dòng)來推動(dòng)包容性。

從那時(shí)起，羅徹斯特理工學(xué)院 (RIT) Golisano 計(jì)算與信息科學(xué)學(xué)院的教職員工和學(xué)生在無障礙和包容性研究中心(CAIR) 開展了這項(xiàng)工作。CAIR 發(fā)表了關(guān)于計(jì)算可訪問性的研究，其中包括許多使用英語和手語雙語操作的失聰和聽力障礙 (DHH) 學(xué)生。

為了開始這項(xiàng)研究，該團(tuán)隊(duì)調(diào)查了 DHH 用戶如何以最佳方式與其個(gè)人助理設(shè)備進(jìn)行交互，無論是智能揚(yáng)聲器還是家庭中響應(yīng)口頭命令的其他類型的設(shè)備。傳統(tǒng)上，這些設(shè)備使用基于語音的交互，隨著技術(shù)的發(fā)展，新型號現(xiàn)在包含攝像頭和顯示屏。目前，市場上的可用設(shè)備都不能理解 ASL 或其他手語的命令，因此引入該功能是解決未開發(fā)客戶群和推動(dòng)包容性的重要未來技術(shù)發(fā)展。亞伯拉罕探索了模擬場景，通過設(shè)備上的攝像頭，技術(shù)人員能夠觀察用戶的簽名，處理他們的請求，并在設(shè)備的屏幕上顯示輸出結(jié)果。

一些先前的研究集中在與個(gè)人助理設(shè)備交互的階段，但很少包括 DHH 用戶?？捎醚芯康囊恍┦纠ㄑ芯吭O(shè)備激活，包括喚醒設(shè)備的問題，以及視頻、ASL 頭像和英文??字幕形式的設(shè)備輸出模式。從研究的角度來看，行動(dòng)呼吁包括收集更多數(shù)據(jù)，這是手語技術(shù)的關(guān)鍵瓶頸。

為了為技術(shù)進(jìn)步鋪平道路，了解 DHH 用戶希望與設(shè)備交互的外觀以及他們希望發(fā)出的命令類型至關(guān)重要。亞伯拉罕和他的團(tuán)隊(duì)建立了一個(gè)綠野仙蹤視頻會(huì)議裝置。一位“向?qū)?rdquo;ASL 口譯員在他們的房間里有一個(gè)家庭個(gè)人助理設(shè)備，在沒有被攝像頭看到的情況下加入通話。該設(shè)備的屏幕和輸出將在通話的視頻窗口中可見，每個(gè)參與者都由研究主持人指導(dǎo)。當(dāng)聾人參與者在個(gè)人家用設(shè)備上簽名時(shí)，他們不知道 ASL 口譯員正在用英語口語發(fā)出命令。一組注釋者觀看了錄像，確定了視頻的關(guān)鍵片段，并將每個(gè)命令轉(zhuǎn)錄成英語和 ASL 光澤度。

亞伯拉罕能夠識別用戶與設(shè)備交互的新方式，例如以前研究中未捕獲的“喚醒”命令。