美國人工智能初創公司Anthropic的一名研究員周二宣佈將退出人工智能行業。他認為該實驗室及其競爭對手正競相研發人類無法掌控的AI系統，這也表明頭部AI企業內部的安全顧慮正不斷加劇。

　　27歲的Anthropic研究員雅各布・考克森曾任職於OpenAI。他表示自己將要離開人工智能行業，原因是他認為，在各家企業相互競爭的大背景下，沒有任何一家實驗室能夠安全地研發能力持續增強、具備自我迭代能力的系統。

　　考克森於今年早些時候加入Anthropic，正是看中這家公司在人工智能安全領域的口碑。然而，他現在表示，公司在安全方面的努力是真心實意的，但競爭之下，安全層面的取捨權衡難以避免。

　　「很多最嚴峻的情景正在成為現實，到明年年底，局面或許就會失控。」 他說。

　　他提到，業內研究人員越來越多地使用 「緊要關頭」 和 「終局」 這類詞彙，來形容 AI 能力迭代的速度有多快。

　　考克森的離職引發關注。儘管Anthropic一邊籌備潛在的首次公開募股（IPO）、一邊研發性能更強的模型，但該公司一直將自身定位為更重視 AI 安全的實驗室之一。

　　考克森認為，當前的問題已超越任何一家公司的範疇，只有在跨行業或政府層面實現有效協調，才能防止自我改進的人工智能系統變得更難以控制。

　　考克森並非第一位因為AI安全擔憂而選擇離開該行業的人工智能研究員。今年2月，曾領導Anthropic安全防護研究團隊的穆裏南柯·夏爾馬（Mrinank Sharma）公開辭職，並在信中警告稱「世界正面臨危險」。

　　夏爾馬擁有牛津大學機器學習博士學位，於2023年8月加入Anthropic。他的團隊致力於防範人工智能輔助的生物恐怖主義，並研究了AI的諂媚行為——即聊天機器人傾向於向用戶傳遞其希望聽到的內容，而非真實信息。

　　在公開發布的辭職信中，夏爾馬寫道，世界正面臨「一系列相互關聯的危機」。他表示，在Anthropic，自己「多次看到如何難以真正讓我們的價值觀來指導行動」，並描述了「施加的壓力，要求我們放下最重要的事情」。但他並未具體說明哪些價值觀受到損害，或這些壓力以何種形式出現。

　　他的團隊曾發表一項研究，發現每日「數千次」的人工智能聊天機器人互動可能會導致用戶對現實產生扭曲的認知——這一發現與商業上儘可能讓聊天機器人更吸引人所追求的目標形成矛盾。

　　夏爾馬錶示，他離職後計劃攻讀詩歌學位，並「致力於勇敢發聲的實踐」。他的離職不太可能單獨改變Anthropic的發展方向，但加劇了外界對AI企業如何在商業壓力與安全承諾之間取得平衡的審視。