集成的視覺和語義神經(jīng)網(wǎng)絡模型解釋了大腦中的人體對象識別

劍橋大學的神經(jīng)科學研究人員將計算機視覺與語義相結(jié)合，開發(fā)出一種新模型，可以幫助更好地理解大腦中物體的處理方式。

人類識別物體的能力涉及兩個主要過程，即對象的快速視覺分析和整個生命中獲得的語義知識的激活。大多數(shù)過去的研究分別研究了這兩個過程; 因此，他們的相互作用仍然很不清楚。

劍橋研究人員團隊使用一種新方法研究了物體識別過程，該方法將深度神經(jīng)網(wǎng)絡與吸引子網(wǎng)絡語義模型相結(jié)合。與之前的大多數(shù)研究相比，他們的技術(shù)既考慮了視覺信息，又考慮了有關(guān)物體的概念知識。

劍橋研究人員告訴Tech Xplore說：“我們之前曾與健康人和腦損傷患者進行了大量研究，以更好地了解物體在大腦中的處理方式。” “這項工作的主要貢獻之一是表明理解物體是什么涉及視覺輸入隨著時間的推移迅速轉(zhuǎn)變?yōu)橛幸饬x的表現(xiàn)形式，這種變革過程是沿著腹側(cè)顳葉的長度完成的。”

研究人員堅信，訪問語義記憶是理解對象是什么的關(guān)鍵部分，因此僅關(guān)注視覺相關(guān)屬性的理論并不能完全捕捉到這個復雜的過程。

“這是當前研究的最初觸發(fā)因素，我們希望充分了解低級視覺輸入如何映射到對象意義的語義表示，”研究人員解釋說。為此，他們使用了一個專門從事計算機視覺的標準深度神經(jīng)網(wǎng)絡，稱為AlexNet。

他們解釋說：“這個模型以及其他類似的模型可以非常精確地識別圖像中的對象，但它們不包含任何關(guān)于對象語義屬性的明確知識。” “例如，香蕉和獼猴桃的外觀(不同的顏色，形狀，質(zhì)地等)非常不同，但是，我們正確地理解它們都是水果。計算機視覺的模型可以區(qū)分香蕉和獼猴桃，但它們不是編碼更加抽象的知識，兩者都是果實。“

研究人員承認神經(jīng)網(wǎng)絡對計算機視覺的局限性，將AlexNet視覺算法與神經(jīng)網(wǎng)絡相結(jié)合，神經(jīng)網(wǎng)絡將概念意義(包括語義知識)分析到方程中。

“在組合模型中，視覺處理映射到語義處理并激活我們關(guān)于概念的語義知識，”研究人員說。

他們的新技術(shù)在16名志愿者的神經(jīng)影像數(shù)據(jù)上進行了測試，他們被要求在對象進行fMRI掃描時為其命名。與傳統(tǒng)的深度神經(jīng)網(wǎng)絡(DNN)視覺模型相比，新方法能夠識別與視覺和語義處理相關(guān)的大腦區(qū)域。

“這項研究最關(guān)鍵的發(fā)現(xiàn)是，通過考慮物體的視覺和語義屬性，可以更好地模擬物體識別過程中的大腦活動，這可以通過計算建模方法捕獲，”研究人員解釋說。

他們設計的方法對大腦中語義激活的階段進行了預測，這與先前的對象處理過程一致，其中更粗粒度的語義處理讓位于更精細的處理。研究人員還發(fā)現(xiàn)，該模型的不同階段預測了大腦對象處理途徑的不同區(qū)域的激活。

“最終，人們?nèi)绾斡幸饬x地處理視覺對象的更好模型可能具有實際的臨床意義;例如，在理解語義癡呆等條件下，人們失去了對象概念意義的知識，”研究人員說。

在劍橋進行的研究是對神經(jīng)科學領(lǐng)域的重要貢獻，因為它展示了大腦的不同區(qū)域如何促進對象的視覺和語義處理。

研究人員補充說：“現(xiàn)在研究一個地區(qū)的信息如何轉(zhuǎn)化為我們在大腦不同區(qū)域看到的不同狀態(tài)至關(guān)重要。” “為此，我們需要了解連通性和時間動力學如何支持這些變革性神經(jīng)過程。”