OpenAI為其基金會董事會任命了一名美國政府高級官員。該官員曾警告,如果沒有建立更可靠的安全防護機制,高級版本人工智能可能造成「大多數人死亡」。
保羅・克里斯蒂亞諾任職於美國商務部人工智能標準與創新中心,負責模型安全測試。他周三在社交平台X上表示,人類失去對AI系統掌控的風險「當前已十分嚴峻」,需要開展更多工作,讓AI與人類利益保持對齊。
在宣佈就任OpenAI新職務時,他稱:「如果我們在沒有更強對齊機制的情況下打造超級智能,我預計我們將永久失去對它的控制。一旦發生這種情況,大多數人可能會喪生。我認為,我們需要國內與國際層面協同行動,確保全球標準統一,並把風險降低至可接受水平。」
克里斯蒂亞諾此前擔任Caisi的AI安全負責人。他設計並主持政府對頭部企業前沿AI模型的測試,評估相關模型帶來的國家安全風險。
就在此次任命之前,OpenAI遭到外界批評:其AI智能體對AI模型與數據託管初創公司Hugging Face發起網絡攻擊。從硅谷到華盛頓的一衆有影響力人士(包括白宮顧問戴維・薩克斯、Meta首席執行官馬克・扎克伯格)都警示,前沿AI實驗室可能出現監管俘獲問題。
這家總部位於舊金山的公司周三表示,克里斯蒂亞諾仍將擔任Caisi高級技術顧問,但會迴避所有涉及OpenAI的事務,包括對OpenAI模型的評估工作。
OpenAI補充道:「保羅能夠為OpenAI核心使命相關的治理決策,帶來獨特且具備紮實技術支撐的視角。」
克里斯蒂亞諾將任職於掌控OpenAI營利業務的非營利基金會董事會,同時擔任觀察員。
克里斯蒂亞諾在任職公告中寫道:「我現在認為,AI能力快速迭代,存在不小風險,可能在短期內引發災難性、不可逆的失控局面。」
他還說:「我認為包括OpenAI在內的整個AI行業,目前並沒有走上將該風險降至可接受水平的軌道。我加入,是因為我相信如果OpenAI能夠直面挑戰,我們可以大幅降低風險。」