基于RNN的分層模型 用于預(yù)測圖像的場景圖

沿著發(fā)達(dá)的河岸，物理障礙可以幫助遏制洪水和對抗侵蝕。在干旱地區(qū)，檢查水壩有助于在降雨后保留土壤并恢復(fù)受損的景觀。在建筑項目中，金屬板可以為挖掘，斜坡上的擋土墻或永久性基礎(chǔ)提供支撐。所有這些應(yīng)用都可以通過使用板樁，從扁平材料折疊并垂直驅(qū)動到地面以形成墻壁和穩(wěn)定土壤來解決。適當(dāng)?shù)耐寥婪€(wěn)定性是建筑，采礦和農(nóng)業(yè)等行業(yè)可持續(xù)土地管理的關(guān)鍵; 和土地退化，特定地形造成的生態(tài)系統(tǒng)服務(wù)的喪失，是氣候變化的驅(qū)動因素，估計每年的成本高達(dá)10萬億美元。

有了這個動力，哈佛大學(xué)Wyss生物啟發(fā)工程研究所的機器人專家團(tuán)隊開發(fā)出一種機器人，可以自動將互鎖的鋼板樁打入土壤中。它建造的結(jié)構(gòu)可以用作擋土墻或檢查水壩以控制侵蝕。該研究將在即將舉行的2019年IEEE機器人與自動化國際會議上發(fā)表。

傳統(tǒng)的板樁驅(qū)動過程是非常耗能的。僅使用典型重型機械的一小部分重量來施加向下的力。另一方面，Wyss團(tuán)隊的“Romu”機器人能夠利用自身的重量將板樁推入地下。這可以通過其四個車輪中的每一個連接到單獨的線性致動器來實現(xiàn)，這也允許其適應(yīng)不平坦的地形并確保樁垂直驅(qū)動。從一個抬起的位置，Romu抓住一個板樁，然后降低其底盤，在一個車載振動錘的幫助下將樁壓入土壤。通過再次在較高位置抓住樁并重復(fù)該過程，機器人可以驅(qū)動比其自身的垂直運動范圍高得多的樁。在打樁到足夠的深度后，Romu推進(jìn)并安裝下一個樁，使其與前一個樁互鎖，從而形成連續(xù)的壁。一旦它使用了它所攜帶的所有樁，它就可以返回供應(yīng)緩存以進(jìn)行補貨。

這項研究源于Wyss研究所以前在建筑應(yīng)用的團(tuán)隊或成群機器人方面的工作。在受土墩建造白蟻啟發(fā)的工作中，核心教員Radhika Nagpal和高級研究科學(xué)家Justin Werfel設(shè)計了一個名為TERMES的自動機器人建筑工作人員，他們的成員共同合作，用專門的磚塊建造復(fù)雜的結(jié)構(gòu)。Werfel和研究人員Nathan Melenbrink的進(jìn)一步研究探索了能夠構(gòu)建懸臂桁架結(jié)構(gòu)的支撐式爬升機器人，解決橋梁等應(yīng)用問題。然而，這些研究都沒有解決將結(jié)構(gòu)錨固到地面的挑戰(zhàn)。Romu項目首先是探索自動化場地準(zhǔn)備和基礎(chǔ)安裝的方法，以便建立早期系統(tǒng); 隨著它的發(fā)展，

“除了在實驗室進(jìn)行測試外，我們還證明了Romu在附近的海灘上運行，”Melenbrink說。“這種演示可以成為圍繞建筑和土地管理自動化機會的更廣泛對話的破冰者。我們有興趣與相關(guān)領(lǐng)域的專家合作，他們可能會看到我們正在開發(fā)的那種自動化干預(yù)的潛在好處。 “

研究人員設(shè)想大量的Romu機器人作為集體或群體一起工作。他們在計算機模擬中證明，Romu機器人團(tuán)隊可以利用坡度陡峭等環(huán)境線索，以便在有效位置建造墻壁，有效利用有限的資源。“群體方法具有諸如通過并行性加速，對個體機器人丟失的魯棒性以及大型團(tuán)隊的可擴(kuò)展性等優(yōu)勢，”Werfel說。“通過實時響應(yīng)他們工作時實際遇到的情況，機器人可以適應(yīng)意外或變化的情況，而無需依賴大量的支持基礎(chǔ)設(shè)施來實現(xiàn)站點測量，通信或本地化等功能。”

“Terramanus ferromurus(Romu)這個名稱是對”機器生態(tài)學(xué)“概念的一種認(rèn)可，其中自動系統(tǒng)可以引入自然環(huán)境作為新參與者，采取具體行動來補充和促進(jìn)人類環(huán)境管理，“Melenbrink說。”未來，Terramanus“屬”可以通過執(zhí)行不同任務(wù)來保護(hù)或恢復(fù)生態(tài)系統(tǒng)服務(wù)的其他機器人來擴(kuò)展。根據(jù)他們的發(fā)現(xiàn)，該小組現(xiàn)在有興趣調(diào)查各種干預(yù)措施，包括用于支持干旱地區(qū)農(nóng)業(yè)的地下水保持結(jié)構(gòu)，以及用于颶風(fēng)防備的響應(yīng)性防洪堤建設(shè)。未來版本的機器人可以執(zhí)行其他干預(yù)措施，如噴灑土壤粘合劑或安裝淤泥圍欄，因此，這些機器人的家族可以在各種情況下穩(wěn)定土壤。

在許多環(huán)境保護(hù)或恢復(fù)的情景中，行動的機會受到人力勞動的可用性和重型機械的現(xiàn)場訪問的限制。更小，更通用的建筑機器可以提供解決方案。“很明顯，目前可用的工具和技術(shù)無法滿足許多退化景觀的需求，”Melenbrink說。“現(xiàn)在，在重型設(shè)備時代出現(xiàn)100年后，我們正在詢問是否有更具彈性和響應(yīng)性的方式來實現(xiàn)土地管理和恢復(fù)。”

“這種板樁驅(qū)動機器人具有在自然環(huán)境中表現(xiàn)出的能力，這標(biāo)志著Wyss研究所的機器人和群體機器人能力可以在自然和人造環(huán)境中承受的路徑，在這種環(huán)境中，傳統(tǒng)機械，人力限制，或成本不足以防止經(jīng)常造成災(zāi)難性的后果。這個機器人 也可以解決災(zāi)難性的情況，即停止危險的化學(xué)品泄漏或放射性放射性液體使人類很難或不可能進(jìn)行干預(yù)，“Wyss研究所創(chuàng)始主任Donald Ingber醫(yī)學(xué)博士說，他也是血管的猶大民間教授HMS的生物學(xué)和波士頓兒童醫(yī)院的血管生物學(xué)項目，以及SEAS的生物工程教授。上海大學(xué)的研究人員最近開發(fā)了一種基于遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的新方法來預(yù)測圖像中的場景圖。他們的方法包括由兩個基于注意力的RNN組成的模型，以及實體本地化組件。

在過去十年左右的時間里，人工智能(AI)領(lǐng)域的研究人員開發(fā)了各種自動工具來管理，分析和檢索數(shù)字圖像。為了表示圖像的內(nèi)容，傳統(tǒng)方法通常使用關(guān)鍵字或多視圖特征。但是，依賴于功能或關(guān)鍵字通常會導(dǎo)致對圖像的理解有限，無法提供有關(guān)圖像的全面知識。

為了解決這些缺點，幾年前，斯坦福大學(xué)，馬克斯普朗克信息學(xué)研究所，雅虎實驗室和Snapchat的一組研究人員提出使用“場景圖”，這是一種用于描述圖像中視覺概念的數(shù)據(jù)結(jié)構(gòu)。場景圖可以將圖像中描繪的場景的描述存儲為結(jié)構(gòu)化圖，其中節(jié)點表示對象信息，并且邊提供兩個節(jié)點之間的預(yù)測。

這些結(jié)構(gòu)化表示可以幫助用戶管理數(shù)字圖像。但是，預(yù)測場景圖通常具有挑戰(zhàn)性，因為它需要有效的工具來識別對象，以及它們之間的屬性和交互。

雖然有幾種現(xiàn)有的預(yù)測場景圖的方法，但其中大多數(shù)都有很大的局限性。在他們的研究中，上海大學(xué)的研究人員著手開發(fā)一種基于神經(jīng)網(wǎng)絡(luò)的模型，從視覺注意力的角度預(yù)測場景圖。

“場景圖為各種視覺任務(wù)提供了強大的中間知識結(jié)構(gòu)，包括語義圖像檢索，圖像標(biāo)題和視覺問答，”研究人員在他們的論文中寫道，該論文發(fā)表在Wiley Online Library上。“在本文中，預(yù)測圖像場景圖的任務(wù)被制定為兩個相關(guān)的問題，即識別關(guān)系三元組，結(jié)構(gòu)化，并從公認(rèn)的關(guān)系三元組構(gòu)建場景圖。”

這個研究小組設(shè)計的方法有兩個關(guān)鍵組成部分，一個旨在識別他們所謂的“關(guān)系三胞胎”，另一個旨在構(gòu)建場景圖。為了識別關(guān)系三元組，研究人員在分層組織中使用了由兩個基于注意力的RNN組成的模型。

“第一個網(wǎng)絡(luò)為每個關(guān)系三元組生成一個主題向量，而第二個網(wǎng)絡(luò)根據(jù)主題向量預(yù)測該關(guān)系三元組中的每個單詞，”研究人員在他們的論文中解釋說。“這種方法成功地捕捉了圖像的構(gòu)圖結(jié)構(gòu)和上下文依賴關(guān)系以及描述其場景的關(guān)系三元組。”

一旦這個基于RNN的模型從圖像中提取了相關(guān)信息，他們的方法的第二個組成部分就會使用這些數(shù)據(jù)構(gòu)建場景圖。對于此步驟，研究人員使用實體定位方法，該方法可以使用可用的注意信息來確定圖形的結(jié)構(gòu)。除了這兩個組件之外，研究人員還使用一種算法來闡明他們的方法將生成的關(guān)系三元組信息轉(zhuǎn)換為場景圖的過程。

他們的方法使用流行的視覺基因組(VG)數(shù)據(jù)集和視覺關(guān)系數(shù)據(jù)集(VRD)進(jìn)行評估。為了他們的研究目的，研究人員使用一組三聯(lián)體對這些數(shù)據(jù)集中的圖像進(jìn)行注釋，用位置信息標(biāo)記每個主題和對象對。

“兩個流行數(shù)據(jù)集的實驗結(jié)果表明，從我們模型中的視覺注意導(dǎo)向角度看，層次復(fù)現(xiàn)方法在結(jié)果上比基線模型有明顯改善，”研究人員寫道。“在未來的工作中，我們計劃用高級語義和更多樣化的屬性來豐富場景圖。”