加強學習加快機器人假肢的調(diào)整

摘要：研究人員開發(fā)了一種新系統(tǒng)，該系統(tǒng)依靠強化學習來調(diào)整機器人假體，使用戶可以在幾分鐘內(nèi)舒適地使用設(shè)備。來自北卡羅來納州立大學，北卡羅來納大學和亞利桑那州立大學的研究人員開發(fā)了一種智能系統(tǒng)，用于“調(diào)整”動力假肢膝蓋，使患者能夠在幾分鐘內(nèi)舒適地使用假肢裝置行走，而不是設(shè)備所需的時間。由訓(xùn)練有素的臨床醫(yī)生調(diào)整。該系統(tǒng)是第一個完全依靠強化學習來調(diào)整機器人假體的系統(tǒng)。當患者接收機器人假肢膝蓋時，需要調(diào)整該裝置以適應(yīng)該特定患者。新的調(diào)整系統(tǒng)調(diào)整12個不同的控制參數(shù)，在整個步態(tài)周期中解決假體動力學，例如關(guān)節(jié)僵硬。

通常，人類從業(yè)者與患者一起修改一些參數(shù)。這可能需要數(shù)小時。新系統(tǒng)依賴于計算機程序，該計算機程序利用強化學習來修改所有12個參數(shù)。它允許患者使用動力假膝蓋在大約10分鐘內(nèi)在水平表面上行走。

“我們首先給患者提供一個帶有隨機選擇參數(shù)的動力假膝，”Helen Huang說，他是該工作論文的共同作者，也是北卡羅來納州和北卡羅來納大學生物醫(yī)學工程聯(lián)合部的教授。“然后我們讓患者在受控制的情況下開始行走。

“通過設(shè)備中的一套傳感器收集設(shè)備上的數(shù)據(jù)和患者的步態(tài)，”Huang說。“計算機模型調(diào)整設(shè)備上的參數(shù)，并將患者的步態(tài)與正常步行步態(tài)的輪廓進行實時比較。該模型可以判斷哪些參數(shù)設(shè)置可以提高性能，哪些設(shè)置會影響性能。使用強化學習，計算模型可以快速識別允許患者正常行走的參數(shù)集?，F(xiàn)有的方法依賴于訓(xùn)練有素的臨床醫(yī)生，可能需要半天時間。“

雖然目前的工作是在受控的臨床環(huán)境中完成的，但目標之一是開發(fā)系統(tǒng)的無線版本，這將允許用戶在真實環(huán)境中使用時繼續(xù)微調(diào)動力假體參數(shù)。

“這項工作是針對患者在水平面上行走的情況進行的，但原則上，我們還可以為上下樓梯等情況開發(fā)強化學習控制器，”該論文的共同作者Jennie Si說。亞利桑那州立大學電氣，計算機和能源工程教授。

“我從動態(tài)系統(tǒng)控制的角度研究了強化學習，其中考慮了傳感器噪聲，環(huán)境干擾以及系統(tǒng)安全性和穩(wěn)定性的要求，”Si說。“我認識到學習如何實時控制同時受到人類用戶影響的假肢裝置的前所未有的挑戰(zhàn)。這是一個共同適應(yīng)問題，無法從傳統(tǒng)控制設(shè)計或當前最先進的強化學習控制機器人中獲得現(xiàn)成的解決方案。我們很高興地發(fā)現(xiàn)，我們的強化學習控制算法確實學會了在這樣一個激動人心的應(yīng)用環(huán)境中使假肢裝置作為人體的一部分工作。“

黃說研究人員希望這個過程更有效率。“例如，我們認為我們可以通過識別或多或少可能成功的參數(shù)組合來改進流程，并訓(xùn)練模型首先關(guān)注最有希望的參數(shù)設(shè)置。”

研究人員指出，雖然這項工作很有希望，但在廣泛使用之前，需要解決許多問題。

“例如，本研究中的假體調(diào)整目標是在行走時滿足規(guī)范的膝關(guān)節(jié)運動，”Huang說。“我們沒有考慮其他步態(tài)表現(xiàn)(例如步態(tài)對稱性)或用戶偏好。再舉一個例子，我們的調(diào)整方法可用于微調(diào)診所和實??驗室外的設(shè)備，使系統(tǒng)隨著時間的推移自適應(yīng)用戶的需要。但是，我們需要確保實際使用的安全性，因為控制錯誤可能導(dǎo)致絆倒和摔倒。需要進行額外的測試以顯示安全性。“

研究人員還指出，如果該系統(tǒng)確實有效且廣泛使用，則可能通過限制患者臨床訪問與從業(yè)者合作的需要來降低患者的成本。