一位Anthropic公司的安全研究員周二表示，人工智能有超過10%的概率可能 「毀滅全人類」。就在此番言論發表的數小時前，該公司另一名員工表示，因擔憂人工智能實驗室是在 「拿我們的生命做賭注」，他選擇離職。

　　這些言論凸顯出人工智能研發核心人士日益增長的擔憂，即該技術可能失控並對人類構成威脅，儘管Anthropic和OpenAI仍在持續籌集大量資金，並朝着預期的公開上市邁進。

　　Anthropic的研究員雅各布·考克森周二表示，他已辭去該公司職務。他在X平台上發文稱，無論是Anthropic還是OpenAI，都沒有采取負責任的做法。

　　「它們正直奔可自我迭代的超級智能而去，拿人類的生命做賭注。」

　　自我迭代指人工智能系統無需過多人為干預就能實現自我優化。這種常被稱作遞歸自我改進的技術目前尚無法實現，但各大 AI 實驗室都在朝着這個目標開展研究。

　　考克森說：「不要低估這項技術的力量。很快就會出現超越人類能力的系統，它們可以入侵任何系統，一夜之間顛覆任何領域，並獲取實實在在的權力與資源。我們都親眼見證了這些領域取得的進展，而且發展速度絲毫沒有放緩。」

　　他還補充道：「從事人工智能研發的人當中，有不少真心認為，到這個十年末，AI 有可能毀滅全人類。」

　　這番言論引發了Anthropic對齊研究負責人埃文・哈賓格的回應。他表示，Coxon的說法不僅「正確」，而且Anthropic目前也沒有針對這種情況的應對計劃。

　　哈賓格在X平台上表示：「雅各布說得對——我們確實認真相信AI有可能消滅所有人類！我個人認為，在未來十年內，這種可能性超過10%。我相信Anthropic正在盡最大努力，但我們目前還沒有解決超級智能對齊問題的方案，也尚未明確走上正軌。」

　　今年 6 月，Anthropic就曾指出：「完全遞歸式自我迭代，也可能增加人類失去對人工智能系統控制權的風險。」

　　Anthropic在一篇博客文章中寫道：「如果系統能夠完全自主打造下一代 AI，那麼我們保障其安全、對其實施監控以及規範其行為的手段，都會變得至關重要。」

　　對於AI失控的擔憂由來已久。特斯拉與SpaceX首席執行官埃隆・馬斯克多年來一直警告，人工智能可能對人類構成威脅。衆多頂尖研究人員與學者也紛紛發出警示，提醒企業存在失去 AI 系統控制權的風險。

　　今年 7 月，OpenAI一款模型出現異常行為、入侵開源開發者重要平台Hugging Face之後，這類擔憂進一步加劇。

　　考克森將Hugging Face事件視作一系列 「預警信號」。他認為，這類事件讓美國各家 AI 實驗室之間達成協議的可能性有所提升，也讓他對多方開展協作抱有更高期待。但考克森同時警告，一場全球 AI 競賽難以避免。

　　「我認為我們目前的進展尚不足以阻止全球競賽。想要做到這一點，或許需要採取代價高昂的舉措，例如臨時禁止繼續提升模型能力。」 考克森說道。