新浪科技訊 9月4日上午消息，近日，星塵智能（Astribot） 基座模型團隊發布能異步執行的在線強化學習框架 SmoothRL（Online Reinforcement Learning During Asynchronous Execution）。解決的是大模型異步推理成為真實部署常態後，與之適配的online RL到底該從哪些動作裏學。

　　SmoothRL 首次將這類異步online RL放到真實高動態投擲任務中驗證，進一步證明在線學習不僅能用於高精度修正，也能適配連續加速、精確釋放、不能停頓的動態操作。

　　過去幾年，機器人基礎模型主要解決的是「會不會」：用更多數據、更強模型，把能力做寬。但機器人真正進入真實環境以後，新的問題往往不是完全不會，而是差幾毫米、差半拍，或者換一個物體位置就不夠穩定。

　　SmoothRL 關注的是這之後的一層：一個已經具備基礎能力的 pretrained policy，進入真實世界以後，能不能繼續根據真實執行結果修正自己。SmoothRL 指向的是一個正在變得越來越具體的問題：預訓練讓機器人學會怎麼做，真實世界裏的後訓練，再把這些能力練得更準、更穩、更可靠。

　　在模型全面發展時，星塵「AI模型-具身OS-繩驅本體」的全棧系統也在持續迭代，推動Physical AI的應用與規模化部署。

　　下一步，團隊計劃進一步探索更大範圍的策略更新、更廣泛的任務分佈，以及異步執行與生成式策略端到端優化之間的結合。