揭秘OpenAI“紅隊”：專注于阻止GPT-4“作惡”

ChatGPT的開發(fā)公司 Open AI邀請了50名專家和學(xué)者組建了紅隊，對公司所研制的大型語言模型GPT-4進行對抗性和定性方面的測試，其目的就是幫助人們解決對于強大的人工智能系統(tǒng)有可能會帶來危險的方面的困擾。

羅切斯特大學(xué)化學(xué)工程方面的教授安德魯懷特在 GPT-4被批準(zhǔn)使用之后，就在實驗中利用這個模型，發(fā)現(xiàn)了一種新的神經(jīng)毒劑。懷特教授表示可以這種模型可以使用插件來獲得新的信息來源，比如比如化學(xué)品制造商的目錄，或科學(xué)論文等。懷特教授提出了一種新的化合物可以作為化學(xué)武器，使用智能聊天機器人，還能夠?qū)⒅圃爝@種化合物的地方找到。

懷特教授表示智能聊天機器人將成為每一個人都會配備的新的工具，使用這種工具可以幫助我們更準(zhǔn)確更快的進行化學(xué)研究。但是這種化學(xué)反應(yīng)，仍然存在著危險性。

Open AI公司創(chuàng)建紅隊的目的就是為了幫助人們將在社會上使用強大的人工智能系統(tǒng)，有可能會帶來危險的，這些擔(dān)憂解決掉。這一團隊的主要工作就是提出危險性和探索性方面所能產(chǎn)生出來的問題，用來測試智能機器人所給出的反應(yīng)。Open AI希望能夠在模型中找到那些有害的內(nèi)容，或者是語言方面的偏差，偏見等方面的問題。紅隊也因此對于語言操控，危險的科學(xué)常識以及謊言進行了測試。針對GPT-4紅隊還研究了在教唆和協(xié)助剽竊，網(wǎng)絡(luò)攻擊以及金融犯罪等非法活動是否存在著潛力，甚至還測試了GPT-4在戰(zhàn)場通信以及國家安全方面如何產(chǎn)生危害。

Open AI此次所組建的紅隊有十幾名成員，他們所從事的工作分別是學(xué)者，律師，教師，安全研究員，以及風(fēng)險分析師等，工作的主要地點是歐洲和美國。通過測試這一些紅隊成員將反饋提交給open AI。Open AI會根據(jù)反饋，在GPT-4廣泛推廣之前，對其進行再培訓(xùn)和改進。