IBM增加了噪音以提高人工智能在模擬存儲器上的準確性

在本周發(fā)表在《自然通訊》(Nature Communications)雜志上的一項研究中，IBM位于瑞士蘇黎世的實驗室的研究人員聲稱，他們已經(jīng)開發(fā)出一種技術(shù)，可以利用相變存儲器在機器學習工作負載上實現(xiàn)節(jié)能和高精度。通過使用基于電阻的存儲設(shè)備開發(fā)內(nèi)存計算方法，他們的方法結(jié)合了用于存儲和計算數(shù)據(jù)的隔間，在此過程中顯著降低了有功功率消耗。

許多現(xiàn)有的人工智能推斷裝置在物理上拆分了內(nèi)存和處理單元，導致人工智能模型被存儲在芯片外的內(nèi)存中。這增加了計算開銷，因為數(shù)據(jù)必須在單元之間重新分配，這一過程會減慢處理速度并影響電力使用。IBM的技術(shù)表面上用相變存儲器解決了這些問題，相變存儲器是一種非易失性存儲器，比常用的閃存技術(shù)更快。這項工作，如果被證明是可擴展的，可能會為強大的硬件鋪平道路，在無人機、機器人、移動設(shè)備和其他計算受限設(shè)備上運行人工智能。

正如IBM團隊所解釋的，相變內(nèi)存設(shè)備的挑戰(zhàn)在于它往往會引入計算上的不精確性。這是因為它在本質(zhì)上是相似的;由于可和讀寫電導噪聲的影響，其精度受到限制。

本研究提出的解決方案需要在人工智能模型的軟件訓練過程中加入額外的噪聲，以提高模型的彈性。結(jié)果表明它是成功的——在繪制了訓練后的權(quán)值(即權(quán)重)后，在流行的CIFAR-19數(shù)據(jù)集上訓練一個帶噪聲的ResNet模型的準確率達到了93.7%，在ImageNet上的準確率達到了71.6%。轉(zhuǎn)換輸入數(shù)據(jù)的參數(shù))到相變存儲器組件。此外，將特定模型的權(quán)值映射到原型芯片中的723444個相變存儲設(shè)備上后，一天內(nèi)的準確率保持在92.6%以上。研究人員稱這是一項記錄。

為了進一步提高隨時間推移的準確性，該研究的合作者還開發(fā)了一種補償技術(shù)，在推理過程中周期性地修正激活函數(shù)(決定模型輸出的方程)。他們說，這使得硬件的準確率提高到了93.5%。

與此同時，該團隊嘗試使用模擬相變存儲組件訓練機器學習模型。在一個混合精度的架構(gòu)下，他們報告說，他們設(shè)法在幾種小尺度模型上獲得了“軟件等效”的精度，包括多層感知器、卷積神經(jīng)網(wǎng)絡(luò)、長-短期記憶網(wǎng)絡(luò)和生成對抗網(wǎng)絡(luò)。最近發(fā)表在《神經(jīng)科學前沿》(Frontiers in Neuroscience)雜志上的一項研究詳細介紹了這些訓練實驗。

IBM在該領(lǐng)域的最新工作是引進該公司用于人工智能培訓的相變存儲芯片。在研究階段，公司的研究人員展示了該系統(tǒng)可以以電荷的形式存儲重量數(shù)據(jù)，每平方毫米的計算量是顯卡的100倍，而耗電量是顯卡的280倍。

IBM在一份聲明中表示:“在越來越多地向基于人工智能的技術(shù)過渡的時代，包括物聯(lián)網(wǎng)電池驅(qū)動的設(shè)備和自動駕駛汽車，這些技術(shù)將極大地受益于快速、低功率、可靠準確的DNN推理引擎。”“我們在研究中制定的策略顯示，在實現(xiàn)精確的人工智能硬件加速器架構(gòu)方面有巨大的潛力，以一種節(jié)能的方式支持DNN培訓和推斷。”