2016-2022 All Rights Reserved.平安財經(jīng)網(wǎng).復制必究 聯(lián)系QQ280 715 8082 備案號:閩ICP備19027007號-6
本站除標明“本站原創(chuàng)”外所有信息均轉(zhuǎn)載自互聯(lián)網(wǎng) 版權(quán)歸原作者所有。
人工智能給人類帶來了無數(shù)的風險。從隱私問題到算法偏見和“黑匣子”決策,更廣泛的價值調(diào)整問題,遞歸自我改進以及超級智能的存在風險 - 人工智能安全問題并不缺乏。
人工智能安全研究旨在解決所有這些問題。但由于資金有限且研究人員太少,研究中的權(quán)衡取舍是不可避免的。為了確保AI安全社區(qū)解決最重要的問題,研究人員必須優(yōu)先考慮其原因。
Owen Cotton-Barratt與人類未來研究所(FHI)和有效利他主義中心(CEA)的同事一起研究了人工智能安全社區(qū)的“事業(yè)優(yōu)先級”。他們分析哪些項目更有可能幫助緩解來自高度先進的AI系統(tǒng)的災(zāi)難性或存在性風險,尤其是人工一般智能(AGI)。通過模擬不同類型研究之間的權(quán)衡,Cotton-Barratt希望引導科學家們進行更有效的人工智能安全研究項目。
技術(shù)和戰(zhàn)略工作
事業(yè)優(yōu)先排序的第一步是了解已經(jīng)完成的工作。從廣義上講,人工智能安全研究分為兩個領(lǐng)域:技術(shù)工作和戰(zhàn)略工作。
AI的技術(shù)安全挑戰(zhàn)是保持機器安全可靠,因為它們變得更有能力和創(chuàng)造力。通過使AI系統(tǒng)更可預測,更透明,更符合我們的目標和價值觀,我們可以顯著降低傷害風險。技術(shù)安全工作包括Stuart Russell關(guān)于強化學習的研究和Dan Weld關(guān)于可解釋機器學習的研究,因為他們正在改進AI系統(tǒng)中的實際編程。
此外,機器智能研究所(MIRI)最近發(fā)布了一項技術(shù)安全議程,旨在長期協(xié)調(diào)機器智能與人類利益,而另一家非營利性人工智能研究公司OpenAI正在研究“圍繞確保的許多研究問題”現(xiàn)代機器學習系統(tǒng)按預期運行,“遵循開創(chuàng)性的人工智能安全具體問題的建議。
戰(zhàn)略安全工作范圍更廣,并詢問社會如何最好地準備和減輕強大人工智能的風險。這項研究包括分析圍繞人工智能發(fā)展的政治環(huán)境,促進研究領(lǐng)域之間的公開對話,阻止軍備競賽,以及從博弈論和神經(jīng)科學中學習人工智能的可能結(jié)果。耶魯大學教授艾倫·達福最近專注于戰(zhàn)略工作,研究人工智能的國際政治,并為政府,人工智能實驗室和非營利組織提供有關(guān)人工智能風險的咨詢。而耶魯生物倫理學家溫德爾·瓦拉赫(Wendell Wallach)除了研究“筒倉破壞”之外,正在研究人工智能的全球治理形式。
原因確定優(yōu)先順序也是戰(zhàn)略工作。Cotton-Barratt解釋說,“戰(zhàn)略工作包括分析安全領(lǐng)域本身,并考慮我們認為我們將會有更多的工作,我們將擁有更少的工作,從而幫助我們引導資源和更多我們的工作目標。“
誰需要更多資金?
如上圖所示,自2015年以來,人工智能安全支出大幅增長。雖然更多的資金并不總能轉(zhuǎn)化為改善的結(jié)果,但資金模式很容易評估,可以說很多關(guān)于研究重點。Cotton-Barratt的CEA同事Seb Farquhar今年早些時候撰寫了一篇文章,分析人工智能安全資金,并提出了更好地分配未來投資的方法。
首先,他建議技術(shù)研究團隊獲得更多的個人調(diào)查員來參加研究議程,詳見“人工智能安全的具體問題”。OpenAI已經(jīng)在這方面起了帶頭作用。此外,社區(qū)應(yīng)該盡力確保新興的人工智能安全中心雇用最佳候選人,因為這些研究人員將在未來幾年內(nèi)塑造每個中心的成功。
總的來說,F(xiàn)arquhar指出,戰(zhàn)略,外展和政策工作跟不上人工智能安全研究的總體增長。他建議更多人關(guān)注改善人工智能安全研究團隊之間,人工智能安全社區(qū)與更廣泛的人工智能社區(qū)之間以及政策制定者與研究人員之間長期戰(zhàn)略的溝通。他補充說,建立更多關(guān)于人工智能戰(zhàn)略和政策的博士和碩士課程可以建立一條填補這一空白的渠道。
為了補充Farquhar的數(shù)據(jù),Cotton-Barratt的同事Max Dalton創(chuàng)建了一個數(shù)學模型來跟蹤更多的資金和更多的安全問題人員如何轉(zhuǎn)化為有用的進展或解決方案。該模型試圖回答以下問題:如果我們想要降低AI的存在風險,那么我們通過在戰(zhàn)略研究和技術(shù)研究上投入資金可以獲得多少效果?
總的來說,技術(shù)研究比數(shù)學模型中的戰(zhàn)略工作更容易跟蹤。例如,在戰(zhàn)略倫理研究上花費更多可能對人工智能安全至關(guān)重要,但很難量化這種影響。然而,改進強化學習模型可以產(chǎn)生更安全,更穩(wěn)健的機器。通過更清晰的反饋循環(huán),這些技術(shù)項目最適合道爾頓的模型。
近視和AGI
但這些模型也面臨著重大的不確定性。沒有人真正知道什么時候開發(fā)AGI,這使得很難確定最重要的研究。如果AGI將在五年內(nèi)開發(fā)出來,研究人員應(yīng)該只關(guān)注最基本的安全工作,例如提高AI系統(tǒng)的透明度。但如果我們有三十年的時間,研究人員可能會負擔得起更多的理論工作。
而且,沒有人真正知道AGI將如何運作。機器學習和深度神經(jīng)網(wǎng)絡(luò)引領(lǐng)了新的AI革命,但AGI可能會在與AlphaGo和Watson截然不同的架構(gòu)上開發(fā)。
這使得一些長期安全研究成為一項風險投資,即使正如許多人認為的那樣,這是我們可以做的最重要的研究。例如,研究人員可能花費數(shù)年時間使深度神經(jīng)網(wǎng)絡(luò)安全透明,但只有當AGI在完全不同的編程架構(gòu)上發(fā)展時才會發(fā)現(xiàn)他們的工作浪費。
Cotton-Barratt將這個問題歸結(jié)為“近視”,并在今年夏天有效利他主義全球最近的一次演講中進行了討論。人類通常無法預料到破壞性變化,人工智能研究人員也不例外。
“我們可能會為長期情景所做的工作可能會完全混淆,因為我們沒有考慮正確的事物類型,”他解釋道。“我們對近期情景有更多的影響力,因為我們更能評估它們的樣子。”
任何額外的人工智能安全研究總比沒有好,但考慮到未知的時間表和人工智能對人類的威脅的潛在嚴重性,我們最好盡可能地追求最有效的人工智能安全研究。
通過幫助人工智能研究組合向更有效和全面的方向發(fā)展,Cotton-Barratt和他的同事們希望確保當機器最終超越我們時,我們會問 - 并且有希望回答 - 正確的問題。
本文是關(guān)于人工智能安全研究資助的未來生活系列的一部分,該系列資金由Elon Musk和開放慈善項目的慷慨捐贈資助。如果您有興趣申請我們的2018年撥款競賽,請看此鏈接。
文明的大部分好處都源于智力,那么我們?nèi)绾尾拍芡ㄟ^人工智能增強這些好處,而不是在就業(yè)市場上取而代之,而且可能完全取而代之?
2016-2022 All Rights Reserved.平安財經(jīng)網(wǎng).復制必究 聯(lián)系QQ280 715 8082 備案號:閩ICP備19027007號-6
本站除標明“本站原創(chuàng)”外所有信息均轉(zhuǎn)載自互聯(lián)網(wǎng) 版權(quán)歸原作者所有。