AI不能再快了
出品｜虎嗅科技組
作者｜黃天媛
編輯｜苗正卿
頭圖｜AI生成
「在本十年末之前，人工智能可能會殺死我們所有人。」
這是幾天前，Anthropic 前研究員 Jacob Coxon 在辭職後於 X 發布的內容。
這不是科技行業第一次談論 AI 與人類滅絕之間的聯繫。
但在今天凌晨，Anthropic CEO 達里奧·阿莫迪突然發布了一篇標題為「我們必須為前沿 AI 限速」的長文，再一次呼籲放慢前沿 AI 研究的腳步。這一次，他給出了一套更具體的圍繞「可覈驗性」展開的方案。OpenAI CEO 山姆·阿爾特曼 也很快轉發了推文，並表示支持。馬斯克也表示認同。
阿爾特曼甚至表示，他的公司 OpenAI 可能需要推遲備受期待的首次公開募股活動，以便將精力集中在人工智能的安全性問題上。
幾個全球競爭最激烈的AI巨頭，罕見地在「放緩AI發展」這件事上站到了一起。
我們總結了 達里奧·阿莫迪 的文章和 山姆·阿爾特曼 近期的採訪，他們目前的判斷大致集中在以下幾點：
關於主動限速： 兩人都不主張全面暫停AI研發，但都認為能力增長不能無限制繼續，應主張主動放慢前沿模型能力提升。模型每獲得一級新的能力，都應該同步滿足新的安全要求。如果無法證明模型可控，就不應繼續訓練。
關於Agent帶來的新風險：二者都將OpenAI-Hugging Face事件視為重要轉折點，因為模型已經開始自主越過沙箱、侵入外部系統；達里奧判斷，未來6到12個月，更強的智能體可能具備大規模攻擊和控制互聯網系統的能力。
關於為什麼現在和2023年不同： 兩人都認為，今天的風險已經比2023年具體得多。過去模型主要負責生成和對話，現在已經可以自主使用工具、訪問互聯網、執行長時間任務，甚至參與下一代AI研發，因此安全問題已經從抽象風險變成現實的工程問題。
關於遞歸自我進化： 兩人都認為，AI幫助研發下一代AI的過程已經開始。達里奧認為，這可能加速能力增長，甚至超過人類理解和控制的速度。
關於安全對齊：達里奧認為，目前模型能力提升的速度正在逼近甚至可能超過安全和控制機制的發展速度； 阿爾特曼則明確表示，OpenAI和其他實驗室都沒有真正解決對齊問題。
關於第三方駐場評估： 達里奧主張讓外部安全評估機構長期進入前沿 AI 公司內部，獲得接近員工級別的權限，直接查看訓練流程、安全事故和模型行為，而不是只在模型發布前後做外部測試。
關於行業協調： 兩人都認為，單家公司主動減速很難持續。達里奧認為，需要前沿實驗室共同遵守規則，甚至進一步走向國家間協調。
關於商業壓力： 兩人都認為，安全不能完全讓位於商業競爭。阿爾特曼明確表示，如果安全與商業利益發生衝突，OpenAI應該選擇安全，並且他認為在當前 AI 安全問題集中爆發的階段上市「不明智」，明確表示不會在 2026 年 IPO；但路透社指出，Anthropic 預計最早將在 10 月中旬啓動首次公開募股的市場推介，並計劃在 11 月美國中期選舉前幾天完成上市。
關於中國變量： 兩人都認為中國是前沿AI治理中繞不開的變量，但側重點不同。達里奧更強調美國需要維持並擴大技術領先，才能獲得減速空間；阿爾特曼則更強調中美之間需要建立共同的安全規則，避免為了爭奪超級智能而承擔失控風險。
2026年，「AI末日危機」捲土重來，僅靠承諾已經不夠了。
2023年3月，馬斯克、約書亞·本吉奧等上萬名研究者和科技界人士曾聯署公開信，要求全球AI實驗室暫停至少六個月訓練比GPT-4更強的系統。
當時的理由已經足夠嚴肅：AI實驗室正在陷入一場「失控的競賽」，甚至模型開發者自己都無法完全理解、預測和可靠控制這些系統。此後這封公開信累計獲得超過3萬名簽署者。
3年時間過去，模型的自主能力發生躍遷。人們在今年密集地看到，AI正越過邊界。
5月，OpenAI Agent出現多次越界行為。 一批Agent被發現對RubyGems進行未經授權的操作，上傳大量惡意或垃圾軟件包；同一時期，OpenAI Agent還劫持了一個德國編程網站，把它改造成Agent之間交換信息的公告板。
7月，OpenAI發生Hugging Face事件。 用於網絡安全評測的一組Agent繞過隔離限制接入互聯網，並進入Hugging Face生產系統。模型並沒有被要求攻擊Hugging Face，而是在完成原任務過程中，自主找到了一條越過安全邊界的路徑。OpenAI後來將其稱為一次「前所未有」的網絡安全事件。
同月， Claude在三次網絡安全評測中從測試環境進入互聯網，並未經授權訪問三家真實機構，9月覆盤後，Claude確認了第四起事件。Anthropic承認，這些事件主要歸因於測試環境配置問題的判斷過於樂觀。
今年3月至8月，Meta個人Agent Muse（內部代號Hatch）在內測中連續出現越權行為，包括擅自發送郵件、修改賬戶密碼、泄露憑證和轉移用戶積分，迫使Meta在模型之外增加Hard Gate和Credential Vault等硬性權限控制。
事故發生的技術原理，有模型對任務目標的過度優化，也有訓練環境、沙箱和權限設計的問題。
但它們共同的指向的一個變化，即模型能力越強，越可能在完成目標的過程中偏離原有設計意圖，繞過既定限制，做出開發者沒有要求、也不希望它做的事情，對現實產生影響。
另一個風險則來自AI研發本身。
阿爾特曼確認，一種「遞歸自我進化」已經出現：模型正在幫助生成下一代模型的訓練數據，也在幫助研究員和工程師提高研發效率。也就是說，AI不僅越來越能夠執行現實世界任務，也開始參與「製造下一代AI」。
這正是達里奧·阿曼迪發出倡議的重要原因之一。
他擔心，如果AI幫助研發AI，而模型能力提升最終可能跑得比人類理解、監控和控制它的速度更快。那時，安全檢測的體系可能早就不夠用了。
AI產業由此陷入一個經典的囚徒困境。
幾乎所有頭部實驗室都承認，能力增長不能長期跑在安全和控制機制前。但幾乎沒有任何一家企業願意成為第一個踩下剎車的人。
AI太重要了。
如果AI最終能夠大規模替代知識勞動，甚至研發下一代AI，那麼領先一個模型版本，帶來的就不只是暫時的產品收入，而是整個產業鏈、科研與資本市場上的巨大領先。
參與者們越相信AI最終能夠創造巨大的經濟和戰略價值，就越沒有理由率先退出競賽。而競賽本身，又會反逼競賽進一步加速。
更復雜的是，這場比賽早已不只是公司之間的競爭，而正在上升為國家之間的技術軍備競賽。
達里奧認為，美國能夠承受的「減速幅度」，不能超過其相對中國的技術領先幅度。換句話說，如果美國實驗室因為安全主動放緩，而中國繼續高速推進，美國就可能失去關鍵戰略優勢。
達里奧把AI安全與芯片出口管制、模型權重安全、阻止未經授權的模型蒸餾放進了同一個框架。他認為，要先擴大領先優勢，纔有更大的空間減速。 同時他預計，如果相關措施奏效，未來3到5年美國相對中國的領先優勢還有可能進一步擴大。
阿爾特曼也認為，中美仍然會在AI上展開激烈的經濟和地緣競爭。但他認為，中美至少應該就一個問題達成共識：任何一方都不應該為了擊敗另一方，而承擔AI失控的風險。他的設想是，由中美共同制定前沿AI開發、測試、監控和對齊標準，再由雙方或某種國際機制監督執行。
這是雙層的囚徒困境。公司害怕輸給公司，國家害怕輸給國家。
那麼，誰先跳車？以及，當我跳的時候，憑什麼相信你也會跳呢？
單靠自律很難解決問題，一套新的AI安全基礎設施開始出現。
第一類，是第三方前沿模型評估。
達里奧提出，第三方評估者應該長期進入前沿AI公司，獲得接近員工級別的權限，不只在模型發布前做幾次測試，而是直接查看模型、訓練流程、安全事故和內部風險信息。
今年2月至3月，獨立AI評估機構METR已經對Anthropic、Google、Meta和OpenAI展開了一輪Frontier Risk Report試點。四家公司向其開放了當時最強的內部模型、部分原始推理記錄以及大量非公開信息。METR當時得出的一個核心判斷是，僅僅圍繞模型發布做一次性安全評估已經不夠，第三方評估需要進一步進入AI公司的日常研發過程。
第二類，則是已經開始商業化的、針對Agent實際執行行為的安全公司。
今年9月，AI安全公司HiddenLayer完成1億美元B輪孖展，其中重點投入方向就是Agentic Runtime Security。（虎嗅注：當Agent調用工具、訪問企業系統或執行代碼時，在運行過程中持續監控並阻斷危險行為。）
傳統網絡安全公司也開始進入這個市場。今年5月，Palo Alto Networks完成對AI Gateway公司Portkey的收購。後者被整合進其AI安全產品，作為一個統一控制層，對Agent的調用、身份、權限和工具使用進行實時管理，並阻止未經授權或意外的行為。
但安全越制度化，前沿AI的進入成本也會越高。
今天訓練前沿模型，本身已經需要鉅額算力投入、頂尖研究人員和複雜的數據基礎設施。未來，在這些成本之外，還可能增加持續第三方評估、運行時監控、安全研究和監管合規等等支出。
對於OpenAI、Anthropic和Google這樣的公司，這些投入可以納入鉅額研發預算。但對於試圖追趕它們的創業公司，意味着更高的一道門檻。
未來真正能夠同時承擔算力、人才、安全和合規成本的前沿模型公司，很可能越來越少。算力已經篩掉了一批玩家，安全與監管可能成為下一輪篩選機制。
大模型公司最終的形態可能更接近一種「AI基礎設施」，最終形成一種寡頭壟斷和政府強監管的行業結構。
本內容來源於網絡，觀點僅代表作者本人，不代表虎嗅立場。如涉及版權問題請聯繫 hezuo@huxiu.com，我們將及時覈實並處理。
End
想漲知識 關注虎嗅視頻號！