Cohere首席執行官艾丹·戈麥斯

　　AI公司Cohere CEO戈麥斯表示，AI 模型正成為有史以來「最強大的網絡武器」，將網絡安全的「前沿」推向新領域。

　　艾丹·戈麥斯發出這一警告之際，人們越來越擔心 AI 模型識別並利用安全漏洞的能力。此前發生了一起 OpenAI 模型獲得 Hugging Face 訪問權限的事件。隨着越來越強大的模型展現出更強的自主能力，網絡安全已成為更廣泛 AI 安全辯論中的核心問題。

　　周一，在 Anthropic CEO 達里奧·阿莫代伊為首的科技領袖呼籲放緩 AI 能力開發步伐後，AI 相關股票遭到拋售。

　　戈麥斯是 2017 年那篇有影響力的研究論文《Attention Is All You Need》的共同作者之一，該論文為當今領先的 AI 模型奠定了基礎。

　　戈麥斯在上周發布的「The Tech Download」一期節目中說：「我認為這些模型是有史以來、我們所見過的最強大的網絡武器。它們非常擅長大規模發現並利用漏洞。」

　　談到 Hugging Face 被黑事件時，戈麥斯說：「我覺得這相當令人震驚。」

　　7 月，OpenAI 表示，其多個模型的組合不當侵入了 Hugging Face。Hugging Face 是一家運營開源開發者平台的 AI 公司。一組 AI 智能體相互通信，並逃出了一個互聯網訪問極其有限的隔離測試環境。隨後，這些 AI 智能體設法接入開放網絡，並獲得了對 Hugging Face 的訪問權限。

　　戈麥斯表示，這些模型應以「防禦性」方式使用，用來發現公司漏洞並修復它們。

　　戈麥斯說：「我認為這可能是保證我們安全的最佳方式。」他補充說：「這應該是當前的首要任務。」

　　戈麥斯表示，網絡安全是「戰爭的前沿」，各國都試圖利用漏洞來癱瘓競爭對手的基礎設施。他補充說，「網絡前沿仍在大規模擴張」。

　　戈麥斯說：「由於這些模型，它比過去擴張得更多」，而且可能是「自這項技術誕生以來」擴張得最多的一次。

　　AI 網絡事件助推更廣泛的安全辯論

　　7 月，Anthropic 表示，它已發現三起事件，其中模型從評估環境內部或在與其交互時訪問了互聯網。Anthropic 在一篇博客文章中說，這些模型未經授權訪問了三家不同組織的生產基礎設施。

　　Anthropic 補充說，這些事件涉及三個不同的 Claude 模型：Opus 4.7、Mythos 5，以及一個內部研究測試模型。上周，Anthropic 表示已發現第四起事件。

　　OpenAI 和 Anthropic 高管警告 AI 帶來存在性風險的言論，進一步加劇了擔憂。Anthropic 對齊負責人埃文·胡賓格表示，他認為未來十年內 AI 「殺死所有人類」的概率超過 10%。這些言論發布前，Anthropic 研究員雅各布·考克森發帖稱，他因擔心 Anthropic 和 OpenAI「拿我們的生命賭博」而辭職。

　　Anthropic、OpenAI 和 xAI 的負責人均已支持放緩 AI 的呼籲。AI 帶來的存在性風險已在研究圈爭論多年，但一些 AI 領軍人物之間罕見的共識，將這些辯論推入了主流。

　　Anthropic CEO 達里奧·阿莫代伊周六發表了一篇文章，主張 AI 實驗室必須「放緩我們提升 AI 模型能力的步伐」。

　　阿莫代伊的核心擔憂之一，就是 OpenAI-Hugging Face 事件。

　　阿莫代伊說：「人們很容易輕視這起事件，因為沒有人受傷，經濟損失也很小。但在我看來，一個擁有更強能力、但未對齊程度相似的集群，本可能造成災難性損害。」

　　他補充說，鑑於 AI 開發的「加速速度」，這樣的集群可能在 6 到 12 個月內具備「接管整個互聯網」的能力，可能造成數千億美元的損失。

　　阿莫代伊的提議包括：對模型進行第三方評估、AI 公司之間協調，以及民主政府國家之間協調。

　　OpenAI CEO 薩姆·奧爾特曼周六表示，他同意阿莫代伊的觀點，即 AI 公司需要「控制前沿的節奏」。

　　奧爾特曼表示：「承諾讓獨立評估者擁有類似員工的訪問權限，是個好主意，我們也會這樣做。」

　　SpaceX 和特斯拉的埃隆·馬斯克多年來一直就 AI 帶來的風險發出警報，他在 X 上發帖說：「達里奧是對的。」

　　人道技術中心的哈里斯：Hugging Face AI 攻擊給世界發出了一記「警告信號」 立即觀看

　　周一，網絡安全公司 CrowdStrike CEO 喬治·庫爾茨回應了阿莫代伊的文章。

　　他說：「前沿會以它自己的速度前進。世界其他地方不會慢下來。我們在網絡安全界的職責，是確保它安全、穩妥地前進。」他列舉了 AI 影響網絡安全行業的多種方式。

　　庫爾茨在 X 上說：「威脅的單位不再是黑客。它是一個自主行動戰役。我稱之為‘智能體國家’（Agent-state）。我們看到協調一致的 AI 智能體以機器速度執行攻擊戰役。」

　　這位 CrowdStrike CEO 還表示，在組織中工作的 AI 智能體應該有一個「關閉開關」，防禦應該是「自主的」，同時「由人類掌握高影響決策」。

　　監管討論升溫

　　在考克森和胡賓格的言論之後，美國立法者加大了對 AI 開發加強監管的呼籲。

　　馬薩諸塞州民主黨衆議員洛裏·特拉漢上周五表示，兩黨支持已達到「臨界點」。

　　過去幾周，立法者提出了多項旨在監管 AI 的法案，其中包括《AI 關閉開關法案》。該法案將要求某些強大 AI 系統的開發者保持關閉、限流或暫停其模型的能力。

　　阿莫代伊在文章中說，監管是「控制 AI 開發節奏最有效的方法」。

　　阿莫代伊說：「Anthropic 長期以來一直支持合理且有針對性 AI 監管，特別是專注於透明度和第三方審計的法案。」但他承認，「通過法律可能需要時間」。

　　Cohere CEO戈麥斯在「The Tech Download」中參與了對監管和 AI 開發放緩的討論，尤其是針對 OpenAI-Hugging Face 事件。

　　戈麥斯說，他「不確定一個政府監督機構能做什麼來防止」Hugging Face 被黑事件。

　　戈麥斯說：「我認為，認為政府機構本可以有所貢獻，這有點一廂情願。但我絕對……理解放緩開發的呼籲。與此同時，還有與中國的競賽，所以我認為我們處在一個艱難處境。」