使用深度學(xué)習(xí)來(lái)讀取大腦中正在處理的圖像

來(lái)自中國(guó)幾家機(jī)構(gòu)的研究團(tuán)隊(duì)通過(guò)計(jì)算機(jī)深入學(xué)習(xí)了解大腦視覺(jué)圖像的問(wèn)題，然后以二維格式再現(xiàn)。arXiv預(yù)印本服務(wù)器上提供了描述其項(xiàng)目的論文，描述了它們的結(jié)果，并將它們與其他嘗試實(shí)現(xiàn)相同目標(biāo)的研究工作進(jìn)行了比較。

想象一臺(tái)機(jī)器可以看到你的想法，看到你實(shí)時(shí)看到的，然后打印出它的圖片。有一些研究小組致力于解決這個(gè)問(wèn)題，到目前為止，他們已經(jīng)遇到了不太好的結(jié)果?，F(xiàn)在，中國(guó)的這個(gè)小組已經(jīng)找到了一種方法，通過(guò)結(jié)合fMRI 機(jī)器和深度學(xué)習(xí)算法來(lái)解決至少一部分問(wèn)題。

FMRI機(jī)器允許研究人員通過(guò)突出血流來(lái)觀察大腦的哪些部分被激活。深度學(xué)習(xí)算法在計(jì)算機(jī)上運(yùn)行，??通過(guò)編譯許多輸入示例和尋找模式來(lái)學(xué)習(xí)如何做事。在這項(xiàng)新的努力中，研究人員結(jié)合這兩種技術(shù)來(lái)捕捉三維神經(jīng)??活動(dòng)陣列(他們稱(chēng)之為體素 - 一種三維建模對(duì)象的計(jì)算機(jī)術(shù)語(yǔ))，對(duì)視覺(jué)刺激作出反應(yīng)，從而揭示出眼睛是什么看到。

為了從體素中捕獲數(shù)據(jù)，研究人員從先前研究人員使用的數(shù)據(jù)庫(kù)中獲得了1800個(gè)fMRI掃描，這些數(shù)據(jù)庫(kù)研究了大腦如何對(duì)單個(gè)字母的圖像做出反應(yīng)。團(tuán)隊(duì)將90%的掃描結(jié)果反饋到深度學(xué)習(xí)算法，該算法消化了信息，并在體素位置，形狀等方面尋找模式。接下來(lái)，團(tuán)隊(duì)使用剩余的10%掃描來(lái)測(cè)試系統(tǒng)學(xué)習(xí)的程度正確識(shí)別視覺(jué)皮層中的體素并重新創(chuàng)建系統(tǒng)隨后打印的初始圖像。

研究人員報(bào)告說(shuō)，他們的技術(shù)是迄今為止最準(zhǔn)確的 - 系統(tǒng)打印的單個(gè)字母看起來(lái)非常像在fMRI機(jī)器下顯示的人的原始圖像。他們提供了他們的結(jié)果的照片證據(jù)，以及研究人員使用其他技術(shù)制作的原始圖像和圖像。