阿里巴巴首席科學家周靖人:Agent執行要有安全沙箱機制

睿見Economy
09/10

專題:2026 Inclusion·外灘大會

  2026Inclusion·外灘大會於2026年9月9日至12日在上海黃浦世博園區舉行,本屆大會以「共創AI新經濟」為主題。

  阿里巴巴集團首席科學家周靖人表示,在權限層面,可以把Agent類比成一個人,當你給人下達指令時,同時會附帶約束條件,明確哪些事情允許他去做。

  在模型側,他表示,安全能力已經取得長足進步,但仍有大量工作要持續推進。很關鍵一點,我們會給模型設定強約束,並且要保證模型始終遵守這些約束,不會因為中途讀取其他資料,就弱化對約束條件的理解。

  他強調,這裏要做好區分:一類是硬性限制規則,另一類是任務執行過程中需要處理的數據。處理數據,不等於數據可以覆蓋原有約束。比如設定100元以內完成任務,即便模型讀到一份材料說要200元,Agent依然必須遵守最開始的限額約束。

  他到安全與信任問題,他指出還有一個關鍵點:Agent執行要有安全沙箱機制,防止本意讓它做A,結果它執行了B。這套能力由整套Agent系統來管控,提供安全執行環境。

  他認為,理解Agent的信任問題其實不用想得太複雜,就把Agent當作人來看待。就像和同事協作,分配任務時都會附帶約束條件。「Agent之間的協作,和人與人之間協作邏輯相近。只要把約束條件定義清楚,搭建好沙箱執行環境,讓模型分清什麼是強約束、什麼是待處理數據,這個問題就能逐步得到很好解決。」他說。

  新浪聲明:所有會議實錄均為現場速記整理,未經演講者審閱,新浪網登載此文出於傳遞更多信息之目的,並不意味着讚同其觀點或證實其描述。

免責聲明:投資有風險,本文並非投資建議,以上內容不應被視為任何金融產品的購買或出售要約、建議或邀請,作者或其他用戶的任何相關討論、評論或帖子也不應被視為此類內容。本文僅供一般參考,不考慮您的個人投資目標、財務狀況或需求。TTM對信息的準確性和完整性不承擔任何責任或保證,投資者應自行研究並在投資前尋求專業建議。

熱議股票

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10