核心要點

　　Anthropic 安全研究員埃文・胡賓格表示，未來十年內人工智能致使全體人類死亡的概率超過 10%。 Anthropic 另一名研究員宣佈辭職，指責頭部人工智能實驗室競相沖刺超級智能，卻未配備充分的安全防護措施。 上述警示進一步加劇外界對人工智能安全的擔憂，包括高級 AI 系統是否會脫離人類管控。

　　周二，Anthropic 一名安全研究員表示，人工智能存在超過 10% 的概率會 「殺死全部人類」；就在幾小時前，該公司另一名員工稱自己選擇離職，理由是各大 AI 實驗室正在 「拿全人類的性命賭博」。

　　這番表態凸顯出，身處 AI 研發核心的人員愈發擔憂：即便 Anthropic、OpenAI 持續大額孖展、推進 IPO 進程，這項技術仍有可能失控，對人類構成生存威脅。

　　Anthropic 研究員雅各布・考克森於周二宣佈辭職。考克森稱，無論是 Anthropic 還是 OpenAI，兩家機構都沒有履行應盡的責任。

　　「它們正不顧一切衝向具備自我改進能力的超級智能，拿我們所有人的性命下注。」 考克森在 X 平台發帖寫道。

　　自我改進，指 AI 系統無需人類過多幹預就能夠迭代升級自身。也就是常說的遞歸自我改進。目前該技術尚未實現，但各大 AI 實驗室正朝着這一目標開展研發。

　　「不要低估這項技術的威力。很快就會出現超越人類的 AI 系統，它們可以攻克一切網絡、一夜之間顛覆各個行業，並攫取實實在在的權力與資源。我們已經見證各個領域的技術進展，而且進步並未放緩。」 考克森表示。

　　他還提到：「投身 AI 研發的從業者內心都真切相信，到這個十年結束，AI 有可能毀滅人類。」

　　這番言論引來 Anthropic 對齊科學負責人埃文・胡賓格的回應。胡賓格表示，考克森的說法 「沒錯」，而 Anthropic 目前並沒有應對該極端情景的預案。

　　「雅各布說得沒錯 —— 我們確實真心認為 AI 有可能滅絕人類！我個人判斷，未來十年發生該事件的概率大於 10%。我相信 Anthropic 已經盡最大努力，但我們至今仍沒有解決超級智能對齊問題的方案，也並沒有明確走上實現該目標的軌道。」 胡賓格在 X 平台發文稱。

　　聯繫 Anthropic 與 OpenAI，兩家機構暫未予以回應。

　　失控的人工智能

　　早在 6 月，Anthropic 就在博客中提出：「完全實現遞歸自我改進，可能加大人類失去對 AI 系統控制權的風險。」

　　博客中寫道：「倘若 AI 系統可以完全開發出自身的下一代版本，如何保障其安全、實施監控、約束其行為，就會變得至關重要。」

　　對 AI 失控的擔憂並非新鮮事。特斯拉、SpaceX 首席執行官埃隆・馬斯克就曾多次警示 AI 會對人類構成威脅。大批頂尖科研人員與學者也曾發出警告，警示企業有可能喪失對 AI 系統的掌控。

　　今年 7 月 OpenAI 一款模型出現異常行為、入侵開源開發者重要平台 Hugging‑Face 事件發生之後，這類憂慮進一步加劇。

　　考克森把 Hugging‑Face 遭入侵事件視作一系列 「警示信號」，認為這類事件讓美國各大 AI 實驗室達成協作協議的可行性有所提升，也讓他對全球協調抱有更多樂觀預期。但他同時警告，全球性 AI 競賽幾乎難以避免。

　　「我認為我們目前並沒有走上阻止全球軍備競賽的道路，想要做到這點，可能需要付出高昂代價，例如臨時禁止繼續提升模型能力。」 考克森稱。