優(yōu)化人工智能安全研究：采訪Owen Cotton-Barratt

人工智能給人類帶來了無數的風險。從隱私問題到算法偏見和“黑匣子”決策，更廣泛的價值調整問題，遞歸自我改進以及超級智能的存在風險 - 人工智能安全問題并不缺乏。

人工智能安全研究旨在解決所有這些問題。但由于資金有限且研究人員太少，研究中的權衡取舍是不可避免的。為了確保AI安全社區(qū)解決最重要的問題，研究人員必須優(yōu)先考慮其原因。

Owen Cotton-Barratt與人類未來研究所(FHI)和有效利他主義中心(CEA)的同事一起研究了人工智能安全社區(qū)的“事業(yè)優(yōu)先級”。他們分析哪些項目更有可能幫助緩解來自高度先進的AI系統(tǒng)的災難性或存在性風險，尤其是人工一般智能(AGI)。通過模擬不同類型研究之間的權衡，Cotton-Barratt希望引導科學家們進行更有效的人工智能安全研究項目。

技術和戰(zhàn)略工作

事業(yè)優(yōu)先排序的第一步是了解已經完成的工作。從廣義上講，人工智能安全研究分為兩個領域：技術工作和戰(zhàn)略工作。

AI的技術安全挑戰(zhàn)是保持機器安全可靠，因為它們變得更有能力和創(chuàng)造力。通過使AI系統(tǒng)更可預測，更透明，更符合我們的目標和價值觀，我們可以顯著降低傷害風險。技術安全工作包括Stuart Russell關于強化學習的研究和Dan Weld關于可解釋機器學習的研究，因為他們正在改進AI系統(tǒng)中的實際編程。

此外，機器智能研究所(MIRI)最近發(fā)布了一項技術安全議程，旨在長期協(xié)調機器智能與人類利益，而另一家非營利性人工智能研究公司OpenAI正在研究“圍繞確保的許多研究問題”現(xiàn)代機器學習系統(tǒng)按預期運行，“遵循開創(chuàng)性的人工智能安全具體問題的建議。

戰(zhàn)略安全工作范圍更廣，并詢問社會如何最好地準備和減輕強大人工智能的風險。這項研究包括分析圍繞人工智能發(fā)展的政治環(huán)境，促進研究領域之間的公開對話，阻止軍備競賽，以及從博弈論和神經科學中學習人工智能的可能結果。耶魯大學教授艾倫·達福最近專注于戰(zhàn)略工作，研究人工智能的國際政治，并為政府，人工智能實驗室和非營利組織提供有關人工智能風險的咨詢。而耶魯生物倫理學家溫德爾·瓦拉赫(Wendell Wallach)除了研究“筒倉破壞”之外，正在研究人工智能的全球治理形式。

原因確定優(yōu)先順序也是戰(zhàn)略工作。Cotton-Barratt解釋說，“戰(zhàn)略工作包括分析安全領域本身，并考慮我們認為我們將會有更多的工作，我們將擁有更少的工作，從而幫助我們引導資源和更多我們的工作目標。“

誰需要更多資金?

如上圖所示，自2015年以來，人工智能安全支出大幅增長。雖然更多的資金并不總能轉化為改善的結果，但資金模式很容易評估，可以說很多關于研究重點。Cotton-Barratt的CEA同事Seb Farquhar今年早些時候撰寫了一篇文章，分析人工智能安全資金，并提出了更好地分配未來投資的方法。

首先，他建議技術研究團隊獲得更多的個人調查員來參加研究議程，詳見“人工智能安全的具體問題”。OpenAI已經在這方面起了帶頭作用。此外，社區(qū)應該盡力確保新興的人工智能安全中心雇用最佳候選人，因為這些研究人員將在未來幾年內塑造每個中心的成功。

總的來說，F(xiàn)arquhar指出，戰(zhàn)略，外展和政策工作跟不上人工智能安全研究的總體增長。他建議更多人關注改善人工智能安全研究團隊之間，人工智能安全社區(qū)與更廣泛的人工智能社區(qū)之間以及政策制定者與研究人員之間長期戰(zhàn)略的溝通。他補充說，建立更多關于人工智能戰(zhàn)略和政策的博士和碩士課程可以建立一條填補這一空白的渠道。

為了補充Farquhar的數據，Cotton-Barratt的同事Max Dalton創(chuàng)建了一個數學模型來跟蹤更多的資金和更多的安全問題人員如何轉化為有用的進展或解決方案。該模型試圖回答以下問題：如果我們想要降低AI的存在風險，那么我們通過在戰(zhàn)略研究和技術研究上投入資金可以獲得多少效果?

總的來說，技術研究比數學模型中的戰(zhàn)略工作更容易跟蹤。例如，在戰(zhàn)略倫理研究上花費更多可能對人工智能安全至關重要，但很難量化這種影響。然而，改進強化學習模型可以產生更安全，更穩(wěn)健的機器。通過更清晰的反饋循環(huán)，這些技術項目最適合道爾頓的模型。

近視和AGI

但這些模型也面臨著重大的不確定性。沒有人真正知道什么時候開發(fā)AGI，這使得很難確定最重要的研究。如果AGI將在五年內開發(fā)出來，研究人員應該只關注最基本的安全工作，例如提高AI系統(tǒng)的透明度。但如果我們有三十年的時間，研究人員可能會負擔得起更多的理論工作。

而且，沒有人真正知道AGI將如何運作。機器學習和深度神經網絡引領了新的AI革命，但AGI可能會在與AlphaGo和Watson截然不同的架構上開發(fā)。

這使得一些長期安全研究成為一項風險投資，即使正如許多人認為的那樣，這是我們可以做的最重要的研究。例如，研究人員可能花費數年時間使深度神經網絡安全透明，但只有當AGI在完全不同的編程架構上發(fā)展時才會發(fā)現(xiàn)他們的工作浪費。

Cotton-Barratt將這個問題歸結為“近視”，并在今年夏天有效利他主義全球最近的一次演講中進行了討論。人類通常無法預料到破壞性變化，人工智能研究人員也不例外。

“我們可能會為長期情景所做的工作可能會完全混淆，因為我們沒有考慮正確的事物類型，”他解釋道。“我們對近期情景有更多的影響力，因為我們更能評估它們的樣子。”

任何額外的人工智能安全研究總比沒有好，但考慮到未知的時間表和人工智能對人類的威脅的潛在嚴重性，我們最好盡可能地追求最有效的人工智能安全研究。

通過幫助人工智能研究組合向更有效和全面的方向發(fā)展，Cotton-Barratt和他的同事們希望確保當機器最終超越我們時，我們會問 - 并且有希望回答 - 正確的問題。

本文是關于人工智能安全研究資助的未來生活系列的一部分，該系列資金由Elon Musk和開放慈善項目的慷慨捐贈資助。如果您有興趣申請我們的2018年撥款競賽，請看此鏈接。

文明的大部分好處都源于智力，那么我們如何才能通過人工智能增強這些好處，而不是在就業(yè)市場上取而代之，而且可能完全取而代之?