AI大模型的人類安全問題越發成為業界關心的焦點問題。在OpenAI公司“宮斗”事件中，咋監自己CEO山姆·奧爾特曼被認為是督比的支持引進商業資本推動技術發展的“激進派”，而原首席科學家蘇茨克維則是聰明注重安全把關的“保守派”。

雖然在激烈內斗后，首說奧爾特曼上演“王者歸來”，席科學“激進派”占據了上風，人類但AI安全的咋監自己問題也被擺上了臺面。當地時間12月18日，督比的OpenAI宣布了一套全新的聰明監管框架，對奧爾特曼的首說權力進行制約。在這套框架下，席科學一個新的人類安全團隊將會定期向董事會匯報安全隱患，盡管奧爾特曼可以對此發表意見，咋監自己但董事會也可以根據安全報告“一票否決”未來的督比的大模型發布。

而在本月14日，由蘇茨克維領導的“超級對齊”（Superalignment）團隊剛剛發布成立以來的第一篇論文，為人類今后對AI模型的監管提供了思路：論文結論顯示，用能力較弱的GPT-2來監督能力更強的GPT-4模型具有一定可行性。

蘇茨維克一直認為，AI將在未來10年內發展到比人類更聰明的程度。“一個弱小的監管者怎樣監督一個強大的AI”被視作今后AI領域必須面對的終極問題，有觀點認為，“超級對齊”的研究讓人類看到了一絲曙光。

OpenAI建新安全框架

董事會可以否決新模型發布

12月18日，OpenAI宣布采取一套新的“準備框架”用以規范今后的AI安全監管工作，這套框架已經處于測試階段。領導新的安全框架的團隊叫做“準備”（Preparedness）團隊，是公司內部一個跨部門的職能團隊，由麻省理工學院出身的計算機專家亞歷山大·梅德里負責領導。

梅德里團隊將針對各類AI模型進行能力評估和紅線測試，以追蹤、預測及防范各類別的災難性風險。該團隊每月會定期向一個新組建的內部安全咨詢小組發送報告，該小組隨后將對報告進行分析，并向奧爾特曼和董事會提交建議。奧爾特曼和其他公司高層可以根據這些報告決定是否發布新的AI模型，但董事會有權撤銷奧爾特曼的決定。

在“宮斗”事件之后，奧爾特曼雖然回到OpenAI重新主持工作，但他的名字并不在“重啟”后的董事會名單中。如今OpenAI在新模型發布這一重大問題上給予董事會“一票否決權”，被外界認為是制衡奧爾特曼個人權力的一項措施。

根據“準備”團隊的工作手冊，工作人員將反復評估OpenAI尚未發布的最先進AI模型，根據不同類型的風險類型評為四個等級，風險程度從低到高依次是“較低”“適中”“較高”和“嚴重威脅”。根據新的指導方針，OpenAI未來將只能推出風險評級為“較低”和“適中”的模型。手冊顯示，該團隊最為關注的維度包括網絡信息安全、模型是否教唆用戶實施犯罪行動、是否泄露核機密或生化武器技術等。

此外，OpenAI還宣布了一項獎勵計劃，鼓勵任何研究者、學校或科研機構就AI安全方面做出技術貢獻，獎金最高可達1000萬美元。而且OpenAI承諾如果有較好的研究方向，可以通過“快捷通道”向該公司申請資金支持。

蘇茨維克團隊論文：

GPT-2可以監督GPT-4

OpenAI官網介紹稱，“超級對齊”團隊于今年7月成立，由首席科學家蘇茨克維領導，目標是在4年內解決“超級智能對齊”問題，即如何讓AI系統發展的終極目標符合人類的價值觀和利益。為此OpenAI撥出全公司20%的計算能力供“超級對齊”團隊調配。

▲“超級對齊”團隊用插畫說明“讓AI對齊AI”的思路

對于這個安全方面的終極問題，在今年8月時蘇茨克維對外界講述了自己的思路，就是讓“AI對齊AI”。這個思路可以用該團隊論文中的一幅插圖形象地展現出來：在早期階段人類比AI強，監督AI的學習并不成問題，但在未來的某個階段AI的能力會超過人類，屆時如何監督更強大的AI？而解題思路是，讓前一代能力較弱的AI模型去監督下一代更強的AI模型，然后以此類推。

這篇論文借鑒了人類如何監督早期GPT模型的思路，試著讓GPT-2去監督GPT-4的學習。結論認為，雖然目前GPT-2還沒有辦法“批量化復制”人類的監督工作思路，但在能力較弱的GPT-2的監督下，GPT-4還是達到了大部分的潛能。

具體來說，如果完全依靠GPT-2來監督新模型的訓練和學習，那么新模型所能達到的水平大約介于GPT-3和GPT-3.5之間。但是如果加上少量的人工監督，模型就能做到現在GPT-4能做的絕大部分事情。

這篇論文的主要合著者之一簡·雷克總結表示，研究證明未來的AI模型可以在完全脫離人類監督的情況下變得比弱小監管者（即上一代舊模型）更加聰明。盡管這種進步幅度不算太大，也有很多條件限制，但無論如何這為人類在未來放心“讓AI自己去對齊AI”打造了一個良好的開端。