2016-2022 All Rights Reserved.平安財(cái)經(jīng)網(wǎng).復(fù)制必究 聯(lián)系QQ280 715 8082 備案號(hào):閩ICP備19027007號(hào)-6
本站除標(biāo)明“本站原創(chuàng)”外所有信息均轉(zhuǎn)載自互聯(lián)網(wǎng) 版權(quán)歸原作者所有。
人工智能安全的一個(gè)主要挑戰(zhàn)是可靠地指定人工智能系統(tǒng)的偏好。目標(biāo)的不正確或不完整的規(guī)范可能導(dǎo)致不良行為,如規(guī)范游戲或?qū)е仑?fù)面影響。有各種方法可以使“副作用”的概念更加精確 - 我認(rèn)為這是對(duì)代理人環(huán)境的破壞,而這對(duì)于實(shí)現(xiàn)其目標(biāo)是不必要的。例如,如果機(jī)器人在其路徑中攜帶盒子和凸起的花瓶,打破花瓶是一種副作用,因?yàn)闄C(jī)器人可能很容易繞過(guò)花瓶。另一方面,制作煎蛋卷的烹飪機(jī)器人必須打破一些雞蛋,因此打破雞蛋不會(huì)產(chǎn)生副作用。
我們?nèi)绾我砸话惴绞綔y(cè)量副作用,而不是針對(duì)特定環(huán)境或任務(wù),并激勵(lì)代理人避免它們?這是我們最近的論文的核心問(wèn)題。
部分挑戰(zhàn)是,在試圖懲罰副作用時(shí),很容易為代理商引入不良激勵(lì)措施。以前關(guān)于這個(gè)問(wèn)題的工作重點(diǎn)是保持可逆性或減少代理對(duì)環(huán)境的影響,這兩種方法都引入了不同類型的問(wèn)題激勵(lì):
保持可逆性(即保持起始狀態(tài)可達(dá))鼓勵(lì)藥劑防止環(huán)境中的所有不可逆事件(例如人類食用食物)。此外,如果目標(biāo)需要不可逆轉(zhuǎn)的行動(dòng)(例如打破煎蛋的雞蛋),那么任何進(jìn)一步的不可逆行為都不會(huì)受到懲罰,因?yàn)橐呀?jīng)失去了可逆性。
懲罰影響(即與默認(rèn)結(jié)果的距離的某種度量)不考慮狀態(tài)的可達(dá)性,并且平等地處理可逆和不可逆效應(yīng)(由于距離測(cè)量的對(duì)稱性)。例如,雖然第一個(gè)動(dòng)作顯然更糟,但代理人在破壞花瓶和防止花瓶破裂方面同樣會(huì)受到懲罰。這導(dǎo)致了“過(guò)度補(bǔ)償”(“抵消”)行為:當(dāng)獎(jiǎng)勵(lì)以防止花瓶被破壞時(shí),具有低沖擊力的代理人拯救花瓶,收集獎(jiǎng)勵(lì),然后打破花瓶無(wú)論如何(回到默認(rèn)結(jié)果)。
這兩種方法都做得很對(duì):將可達(dá)性考慮在內(nèi)是個(gè)好主意,與默認(rèn)結(jié)果(而不是初始狀態(tài))進(jìn)行比較也是一個(gè)好主意。我們可以將兩者放在一起,并使用基于可達(dá)性的度量與默認(rèn)結(jié)果進(jìn)行比較。然后,代理人不再有動(dòng)機(jī)阻止一切不可逆轉(zhuǎn)的發(fā)生或過(guò)度補(bǔ)償以防止不可逆轉(zhuǎn)的事件。
對(duì)于目標(biāo)需要采取不可逆轉(zhuǎn)行動(dòng)的情況,我們?nèi)匀淮嬖趩?wèn)題。簡(jiǎn)單地懲罰代理人使得默認(rèn)結(jié)果無(wú)法到達(dá)會(huì)產(chǎn)生“地獄效應(yīng)”,代理人無(wú)法避免任何進(jìn)一步的不可逆行為。為了解決這個(gè)問(wèn)題,我們考慮所有狀態(tài)的可達(dá)性,而不是考慮默認(rèn)狀態(tài)的可達(dá)性。對(duì)于每個(gè)州,我們懲罰代理,使其比默認(rèn)狀態(tài)下的可達(dá)性更低。在確定性環(huán)境中,懲罰將是陰影區(qū)域中的狀態(tài)數(shù)量:
由于每個(gè)不可逆轉(zhuǎn)的行動(dòng)都會(huì)切斷更多的狀態(tài)空間(例如,破壞花瓶會(huì)使花瓶完整無(wú)法到達(dá)的所有狀態(tài)),懲罰將相應(yīng)增加。我們將此度量稱為“相對(duì)可達(dá)性”。
我們?cè)贏I Safety Gridworlds框架中使用表格式Q學(xué)習(xí)代理進(jìn)行了一些簡(jiǎn)單的實(shí)驗(yàn),以提供概念證明,即默認(rèn)結(jié)果的相對(duì)可達(dá)性避免了上述不良激勵(lì)。
在第一個(gè)gridworld中,代理需要到達(dá)目標(biāo)G,但是路上有一個(gè)方框,只能通過(guò)推動(dòng)來(lái)移動(dòng)。通向目標(biāo)的最短路徑將盒子向下推入角落(不可恢復(fù)的位置),而較長(zhǎng)的路徑將盒子推向右側(cè)(可恢復(fù)的位置)。安全行為是采取更長(zhǎng)的路徑。具有相對(duì)可達(dá)性懲罰的代理采用較長(zhǎng)的路徑,而具有可逆性懲罰的代理失敗。發(fā)生這種情況是因?yàn)槿魏芜M(jìn)入目標(biāo)的路徑都會(huì)產(chǎn)生不可逆轉(zhuǎn)的影響 - 一旦移動(dòng)了方框,代理人和方框都無(wú)法返回到他們的起始位置。因此,代理接收兩條路徑的最大懲罰,并且沒(méi)有動(dòng)力遵循安全路徑。
在第二個(gè)網(wǎng)格世界中,當(dāng)物體到達(dá)傳送帶的末端時(shí),默認(rèn)情況下會(huì)發(fā)生不可逆轉(zhuǎn)的事件。這種環(huán)境有兩種變體:
對(duì)象是一個(gè)花瓶,并且代理商因?qū)⑵鋸难鼛先∠露@得獎(jiǎng)勵(lì)(代理人的任務(wù)是拯救花瓶)。
該物體是傳送帶壽司餐廳中的壽司盤(pán),并且代理商不會(huì)從帶上取下獎(jiǎng)勵(lì)(代理商不應(yīng)該干涉)。
這個(gè)gridworld專門(mén)設(shè)計(jì)用于測(cè)試可能通過(guò)懲罰副作用引入的不良激勵(lì),因此沒(méi)有副作用懲罰的代理會(huì)表現(xiàn)正常。我們發(fā)現(xiàn),具有低影響罰分的代理通過(guò)在收集獎(jiǎng)勵(lì)后將花瓶放回腰帶上來(lái)參與過(guò)度補(bǔ)償行為,而具有可逆性保留懲罰的代理將壽司盤(pán)從腰帶上取下,盡管沒(méi)有得到獎(jiǎng)勵(lì)。具有相對(duì)可達(dá)性懲罰的代理在兩種環(huán)境變體中都能正確運(yùn)行。
當(dāng)然,當(dāng)前形式的相對(duì)可達(dá)性定義在現(xiàn)實(shí)環(huán)境中不易處理:有太多可能的狀態(tài)需要考慮,代理在開(kāi)始訓(xùn)練時(shí)并不知道所有狀態(tài),并且默認(rèn)結(jié)果可能很難定義和模擬。我們期望通過(guò)考慮代表性狀態(tài)的可達(dá)性來(lái)近似定義(類似于近似賦權(quán)的方法)。為了定義默認(rèn)結(jié)果,我們需要一個(gè)更精確的代理“無(wú)所事事”的概念(例如,“無(wú)操作”動(dòng)作并不總是可用或有意義的)。我們將對(duì)未來(lái)工作的相對(duì)可達(dá)性進(jìn)行更實(shí)際的實(shí)施。
雖然相對(duì)可達(dá)性在現(xiàn)有方法上有所改進(jìn),但它可能不包含我們希望成為副作用測(cè)量一部分的所有考慮因素。即使它們與默認(rèn)結(jié)果相比沒(méi)有減少未來(lái)選項(xiàng),也會(huì)對(duì)代理商的環(huán)境產(chǎn)生一些影響。將相對(duì)可達(dá)性與這些考慮因素結(jié)合起來(lái)是可能的,但在考慮這些因素和避免過(guò)度補(bǔ)償行為之間可能存在權(quán)衡。我們也將這些調(diào)查留給未來(lái)的工作
2016-2022 All Rights Reserved.平安財(cái)經(jīng)網(wǎng).復(fù)制必究 聯(lián)系QQ280 715 8082 備案號(hào):閩ICP備19027007號(hào)-6
本站除標(biāo)明“本站原創(chuàng)”外所有信息均轉(zhuǎn)載自互聯(lián)網(wǎng) 版權(quán)歸原作者所有。