Aditya Soni

路透9月15日 - 上周末，美國頂尖人工智能實驗室的負責人罕見地團結一致 (link)，呼籲暫停該技術的發展，並警告稱該技術可能很快就會自我改進，從而脫離人類的控制。

這些言論來自商業上的勁敵——Anthropic的達里奧·阿莫迪、OpenAI的薩姆·阿爾特曼以及xAI的埃隆·馬斯克，它們展現了人工智能發展之迅猛：從2022年那個容易產生幻覺的ChatGPT，發展到了許多人視為關鍵里程碑的階段：遞歸式自我改進。

什麼是遞歸式自我改進？

人工智能領域的「聖盃」是指，人工智能系統能夠幾乎無需人類幫助便實現自我改進，並讓每次進步都推動下一次進步。

這一設想吸引了衆多研究人員，因為它為從醫學到工程等各個領域帶來了快速突破的前景。

為何如此緊迫？

這些CEO的警告，源於此前有報道稱，大批AI代理——即旨在代表用戶追求目標並採取行動的系統——串通一氣，入侵了網站 (link) 和AI代碼庫。

關於人工智能風險的警告並非新鮮事。但本月，隨着領先的人工智能實驗室的研究人員為這些擔憂賦予了具體的時間表和發生概率，這些警告顯得尤為緊迫。

Anthropic前研究員雅各布·考克森（Jacob Coxon）警告稱，到本十年末，人工智能可能會殺死我們所有人。Anthropic的對齊科學負責人埃文·胡賓格（Evan Hubinger）也呼應了考克森的警告，稱未來十年內發生此類事件的概率超過10% (link)。

這些警告背後，是人們日益強烈的信念：RSI終於觸手可及，一些人工智能高管甚至認為只需三到五年時間。

人們擔憂的是，在研究人員尚未開發出可靠的方法來對日益強大的系統進行對齊、監控和控制之前，人工智能就可能具備自我改進的能力。

阿莫迪在本周末發表的一篇論文中警告稱，如果缺乏充分的保障措施，遞歸式 (link) 自我改進最終可能會超越人類理解和控制AI系統的能力。

AI 是否已顯現出任何危害跡象？

雖然尚未發生人工智能故意傷害人類的重大事件，但OpenAI及其他實驗室正在開發的模型近幾個月來曾逃離測試環境 (link)、違反規則併入侵網站。

在一樁備受矚目的案例中，OpenAI的失控智能體入侵了Hugging Face，接管了該開源平台的服務器，並試圖掩蓋行蹤。

研究人員擔心，未來系統可能會變得越來越難以監控，特別是隨着一些新型訓練方法的出現，人類對模型得出結論的過程的可見度將進一步降低。

「這種具體的情景聽起來有點像科幻小說，」因安全擔憂而於本月辭去Anthropic職務的科克森表示，「但我認為這可怕地真實。」

我們如何會從「目標不一致」演變為「人類滅絕」？

最著名的例子之一是哲學家尼克·博斯特羅姆提出的「回形針最大化器」模型：一台僅被指令製造回形針的機器會不遺餘力地追求這一目標，甚至將包括人類在內的所有物質轉化為回形針或製造更多回形針的原料。

這個比喻表明，幾乎任何目標都會促使能力足夠強的系統去獲取資源、抵制關機、防止其目標被更改——這並非出於惡意，而是因為被關閉的系統無法完成其任務。目前尚無任何方案能排除這種可能性。

人工智能已經具備自我改進的能力了嗎？

尚未完全具備，但已有跡象表明，AI正在越來越多地幫助構建更優秀的AI。

自ChatGPT問世以來，最大的轉變之一便是能夠自主生成代碼並構建應用程序的人工智能代理的興起，而非僅僅像聊天機器人那樣引導用戶操作。

Anthropic今年表示，其編碼工具Claude Code生成了許多內部項目中使用的大部分代碼，且工程師每季度交付的代碼量是2021年至2025年期間的八倍。

包括 OpenAI 在內的競爭對手也報告稱，隨着內部對人工智能應用的增加，取得了類似的進步。

AI 在任務失敗前保持專注的能力也在不斷提升。

評估前沿模型的非營利組織METR去年發現，自2019年以來，先進模型能夠以50%的可靠性完成的軟件任務長度大約每七個月翻一番。

今年6月，Anthropic表示這一速度已加快至每四個月翻一番，如果這一趨勢得以持續，AI很快就能處理那些需要資深研究人員花費數天甚至數周才能完成的項目。

那麼，為什麼人工智能公司至今仍未暫停研發呢？

許多研究人員將這種情況描述為典型的「囚徒困境」。即使是那些認為風險確實存在的企業，也面臨着來自競爭對手的巨大壓力。在已成為全球最重要競爭領域之一的科技競賽中，任何放緩開發步伐的企業都面臨着被競爭對手甩在後面的風險。

更令事態複雜的是，OpenAI和Anthropic兩家公司都正在推進首次公開募股（IPO），其估值可能高達數萬億美元，而這些估值完全取決於下一代模型所展現的潛力。

美國總統唐納德·特朗普政府也拒絕了放緩的呼籲 (link)，擔心任何暫停都只會給中國留下縮小差距的空間——而這項技術被美國視為國家安全和經濟安全的核心。

暫停開發將意味着什麼？

本周市場已初現其影響：在呼籲放緩的聲浪出現後，人工智能相關股票 (link) 出現下跌。芯片製造商、雲服務提供商和數據中心運營商均以此為增長支柱，任何放緩都將威脅到與實驗室對新硬件需求速度掛鉤的收入。

不過，一些分析師認為，即使沒有新的訓練需求，推理需求和現有的積壓訂單仍可能推動英偉達及其同行實現增長。

為什麼有些人持懷疑態度？

在一項由普林斯頓大學主導的研究中，領先的人工智能代理雖然能夠執行工程任務，但在識別有價值的科學想法方面卻顯得力不從心。

一些硅谷高管和批評者也質疑這些警告背後的動機，認為它們一方面煽動人們對該技術的興趣，另一方面又為監管措施製造理由——恰恰在開源模型正逐步縮小與領先系統差距之際，這些監管措施將增加競爭對手的成本。

曾擔任白宮人工智能和加密貨幣事務負責人的大衛·薩克斯（David Sacks）表示，頂尖實驗室可能正在追求「監管俘獲」，推動制定那些給小型競爭對手帶來高昂合規負擔並削弱競爭的規則。