在不可預知的世界中保持AI安全：Thomas G Dietterich訪談錄

我們的AI系統(tǒng)在封閉的世界中運行得非常好。那是因為這些環(huán)境包含一定數(shù)量的變量，使得世界完全為人所知并且完全可預測。在這些微環(huán)境中，機器只會遇到他們熟悉的對象。結果，他們總是知道應該如何行動和回應。不幸的是，這些系統(tǒng)在現(xiàn)實世界中部署時很快就會變得混亂，因為許多對象并不熟悉。這是一個問題，因為當AI系統(tǒng)變得混亂時，結果可能是致命的。

例如，考慮一輛遇到新物體的自動駕駛汽車。它應該加速，還是應該減速?或者考慮一個看到異常的自主武器系統(tǒng)。它應該攻擊還是應該關閉?這些例子中的每一個都涉及生死攸關的決定，它們揭示了為什么，如果我們要在現(xiàn)實環(huán)境中部署先進的AI系統(tǒng)，我們必須確信它們在遇到不熟悉的對象時會表現(xiàn)得正確。

Thomas G. Dietterich俄勒岡州立大學計算機科學榮譽教授解釋說，解決這一識別問題的第一步是確保我們的人工智能系統(tǒng)不太自信 - 他們在遇到異物時會認出來并且不會將其誤認為是他們熟悉的東西。為實現(xiàn)這一目標，Dietterich斷言我們必須遠離(或至少，大大改變)目前主導AI研究的歧視性訓練方法。

但是，要做到這一點，我們必須首先解決“開放類別問題”。

了解開放類別問題

在開車的路上，我們可以遇到幾乎無限的異常。也許會出現(xiàn)暴風雨，冰雹會開始下降。也許我們的愿景會受到煙霧或過度霧氣的阻礙。雖然這些遭遇可能是意料之外的，但人類的大腦能夠輕松地分析新信息并決定適當?shù)男袆臃桨?- 我們將認識到一條漂浮在馬路上的報紙，而不是突然抨擊休息，繼續(xù)前進。

由于它們的編程方式，我們的計算機系統(tǒng)無法做到這一點。

“現(xiàn)在我們使用機器學習來創(chuàng)建人工智能系統(tǒng)和軟件的方式通常使用一種叫做”歧視性訓練“的東西，”Dietterich解釋說，“這隱含地假設世界只包含千種不同的物體。”意味著，如果一臺機器遇到一個新的物體，它將認為它必須是它訓練過的一千件事物之一。結果，這樣的系統(tǒng)錯誤地分類了所有外來物體。

這是Dietterich和他的團隊試圖解決的“公開類別問題”。具體來說，他們試圖確保我們的機器不會假設他們遇到了所有可能的對象，而是能夠可靠地檢測 - 并最終響應 - 新的外來物體類別。

Dietterich指出，從實際角度來看，這意味著創(chuàng)建一種異常檢測算法，為AI系統(tǒng)檢測到的每個對象分配一個異常分數(shù)。必須將該分數(shù)與設定的閾值進行比較，如果異常分數(shù)超過閾值，系統(tǒng)將需要發(fā)出警報。Dietterich指出，為響應此警報，AI系統(tǒng)應采取預先確定的安全措施。例如，檢測異常的自動駕駛汽車可能會減速并駛向道路一側。

創(chuàng)造安全理論保障

使這種方法有效有兩個挑戰(zhàn)。首先，Dietterich斷言我們需要良好的異常檢測算法。以前，為了確定哪些算法運行良好，該團隊將八種最先進的異常檢測算法的性能與大量基準問題進行了比較。

第二個挑戰(zhàn)是設置警報閾值，以便保證AI系統(tǒng)檢測到外來物體的所需部分，例如99%。Dietterich說，為這個閾值制定一個可靠的設置是最具挑戰(zhàn)性的研究問題之一，因為有可能存在無限種類的外來物體。“問題在于我們無法為所有人提供標記的訓練數(shù)據(jù)外星人。如果我們有這樣的數(shù)據(jù)，我們只需在標記數(shù)據(jù)上訓練判別分類器，“Dietterich說。

為了規(guī)避這一標簽問題，該團隊假定判別分類器可以訪問反映較大統(tǒng)計人口的“查詢對象”的代表性樣本。例如，可以通過從在世界各地的高速公路上行駛的汽車收集數(shù)據(jù)來獲得這樣的樣本。此示例將包含一些未知對象，其余對象屬于已知對象類別。

值得注意的是，樣本中的數(shù)據(jù)未標記。相反，AI系統(tǒng)可以估算出樣本中外星人的比例。通過將樣本中的信息與用于訓練判別分類器的標記訓練數(shù)據(jù)相結合，該團隊的新算法可以選擇一個良好的警報閾值。如果已知估計的外星人分數(shù)是對真實分數(shù)的高估，則保證所選擇的閾值能夠檢測外星人的目標百分比(即99%)。

最終，上述第一種方法可以為檢測外來物體提供安全性的理論保證，報告結果的論文在ICML 2018中提出。“我們能夠很有可能保證我們能找到99%所有這些新對象，“Dietterich說。

在他們研究的下一階段，Dietterich和他的團隊計劃在更復雜的環(huán)境中開始測試他們的算法。到目前為止，他們一直主要關注分類，系統(tǒng)會查看圖像并對其進行分類。接下來，他們計劃轉向控制代理商，如自動駕駛汽車的機器人。“在每個時間點，為了決定選擇什么行動，我們的系統(tǒng)將根據(jù)代理及其環(huán)境行為的學習模型進行'向前搜索'。如果通過我們的方法向前看到一個被評為“外星人”的狀態(tài)，那么這表明代理人即將進入狀態(tài)空間的一部分而無法選擇正確的行為，“Dietterich說。作為回應，如前所述，代理應執(zhí)行一系列安全措施并請求人工協(xié)助。

但這種安全行動實際上包括什么?

回應外星人

Dietterich注意到，一旦某些東西被識別為異常且警報響起，這種后退系統(tǒng)的性質將取決于所討論的機器，例如AI系統(tǒng)是在自動駕駛汽車還是自動武器中。

為了解釋這些二次系統(tǒng)如何運作，Dietterich轉向自動駕駛汽車。“在谷歌汽車中，如果計算機失去動力，那么就會有一個備用系統(tǒng)會自動減慢汽車速度并將其拉到路邊。”然而，Dietterich澄清說停車并不總是最好的行動方案。人們可能會認為，如果一個身份不明的物體穿過它的路徑，汽車應該停下來;然而，如果在一個特別冰冷的日子里，身份不明的物體恰好是一層雪，那么打破休息會變得更加復雜。該系統(tǒng)需要考慮冰冷的道路，可能在后面行駛的任何車輛，以及這些車輛是否能夠及時折斷以避免后端碰撞。

但是，如果我們無法預測每一種可能性，我們怎么能期望對AI系統(tǒng)進行編程，使其行為正確且安全?

不幸的是，沒有簡單的答案;但是，Dietterich澄清了一些一般的最佳實踐;“安全問題沒有普遍解決方案，但顯然有一些行動比其他行動更安全。一般來說，從系統(tǒng)中消除能量是一個好主意，“他說。最終，Dietterich聲稱所有與編程安全AI相關的工作實際上歸結為確定我們希望我們的機器在特定情況下的行為方式，并且他認為我們需要重新闡述我們如何描述這個問題，并專注于所有的因素，如果我們要制定一個合理的方法。

Dietterich指出，“當我們看到這些問題時，他們往往會被歸入”道德決策“的分類中，但他們真正的問題是難以置信的復雜問題。它們極大地依賴于它們運行的??環(huán)境，人類，其他創(chuàng)新，其他自動化系統(tǒng)等等。挑戰(zhàn)是正確描述我們希望系統(tǒng)如何表現(xiàn)，然后確保我們的實施實際符合這些要求。“他總結道，”AI未來的巨大風險與任何軟件系統(tǒng)中的大風險相同，這是我們構建錯誤的系統(tǒng)，所以它做錯了。亞瑟克拉克在2001年：太空漫游完全正確。Hal 9000并沒有“流氓”;它只是做了它的編程工作。“