萬億參數稀疏MoE模型也能跑通，整體成本僅需1/10。
作者 | 程茜
編輯 | 漠影
智東西7月23日報道，7月21日，Mind Lab團隊發布旗下首個正式版本MoE模型Macaron-V1，包含Macaron-V1-Venti、Macaron-V1-Tall兩個版本，專為Agent任務打造。
Macaron-V1-Venti：為748B參數的旗艦模型，由744B參數的基礎模型和4個1B參數的LoRA專家模塊組成，這也是首個在GLM-5.2上進行二次訓練的模型。
Macaron-V1-Tall：參數規模50B，由35B參數的基礎模型以及4個3.7B參數的LoRA專家模塊組成。該模型是在Qwen 3.6的基礎上進行訓練的，適用於本地部署。
通過引入LoRA架構，Macaron-V1系列模型在聊天、編程、智能體、GenUI任務上，尤其在長程自主智能體任務上，其綜合性能和國際頭部模型相當。
與此同時，Mind Lab今年7月開啓商業化，僅用時兩周，年化經常性收入（ARR）便突破千萬美元量級。
Macaron-V1模型的所有變體都在Hugging Face的Macaron-V1集合中以開放權重的形式發布。
01.
綜合性能對標國際頂尖模型
長程自主智能體能力成核心分水嶺
AI應用已從靜態問答轉向長期自主的智能體應用，這也意味着，其不再只比拼單個模型能力，而是覆蓋長周期記憶、工具調用、持續自我優化、多任務協同、系統架構、持續學習能力的系統能力。
這也是下一代模型缺的東西。根據昨晚流傳出的一份投資人會議錄音，DeepSeek創始人、CEO梁文鋒提到，下一代模型必須要有持續學習的能力。
他將AGI實現的路線比作爬樓梯，去年的階梯是CoT（思維鏈），今年的階梯就是Agent，再之後就是持續學習。這樣一來，模型可以完成人類能做的所有事情，包括自己開發更前沿的AI模型，AI加速AI的研究。
這與Macaron-V1的核心特性不謀而合。
Mind Lab認為，未來AI的核心在於兩種能力互補，一是持續學習，通過訓練後的遞歸自我改進機制，模型能夠不斷生成經驗、從中學習，從而改進自身的行為；二是群體智能，依託統一共享的底層基座，多款專用模型可實現高效的多智能體協同作業。
其中最直接的體現就是模型在「個人智能」方面的能力，模型需要以單一用戶個體為中心，具備持久身份、長期記憶、持續適應用戶偏好、跟隨用戶不斷演化。
不過目前通用任務基準中，沒有專門針對個人智能任務的評分標準，基於此Mind Lab開發了ChatBench和Macaron LivingBench。前者評估模型在複雜長篇對話中的能力，後者則是通過數周的互動來評價智能體程序的性能。
結合第三方的公開測試集可以看到，Macaron-V1-Venti在聊天、編程、智能體、GenUI四項任務中的綜合能力都超過了GLM-5.2，相比全球頂尖大模型公司的GPT-5.5、Claude Opus 4.8、Gemini 3.1 Pro、MiniMax M3，僅在智能體、編程的少數幾個測試集中分數略低。
綜合來看，Macaron-V1的優勢體現在需要完成長周期、動態環境、持續目標的智能體任務中，在LivingBench及第三方測試系統PinchBench，其能力已經與GPT、Claude等通用頂尖大模型相當。
02.
引入LoRA混合架構
整體成本僅需全參數微調的1/10
Mind Lab打造Macaron-V1的祕籍，就藏在其定位中，這是一款基於LoRA混合架構構建的智能體模型，原生面向持續學習與多模型協同設計。
上個月，其發布Macaron-V1-Preview時，就引入了LoRA混合架構，為智能體和編程任務分別配備了獨立的LoRA專家模塊。此次V1正式版發布基於這一策略進行了提升。
Macaron-V1採用Mixture-of-LoRA架構，依託PEFT（參數高效微調）範式凍結基座模型，以大量獨立LoRA適配器作為可更新模塊，實現增量式持續學習、多任務與多模型協同，解決傳統全量微調難以支撐智能體持續演化的痛點。
根據其研究論文，PEFT不僅是一個注重預算控制的替代方案，實際上更是一種更強大的微調工具。其中的LoRA架構，可以通過共享的基礎模型提供通用能力，然後適配器承載某個具體實例的個性化行為，例如偏好、技能、工具使用習慣以及記憶存儲與迭代更新。
他們的願景就是，讓強大的基礎模型來支持數以百萬計的持久個人助手。Macaron-V1的誕生，正重新定義以LoRA方案為代表的高效參數微調的價值。
無獨有偶，前OpenAI CTO Mira Murati創辦的Thinking Machines Lab也押注了這一路線，Murati曾在社交平台X發文稱，依託新實驗與信息論推導，他們認為只要條件合適，LoRA完全可以達到和全參數微調同等的性能水平。
在此基礎上，我們可以通過Macaron-V1基於GLM-5.2二次訓練的技術細節，來進一步明確LoRA方案的優勢所在。
在V1-Venti的架構中，IndexCache與LoRA混合專家各司其職：IndexCache屬於GLM-5.2基座模型原生能力，MoL是Macaron搭建在該基座之上的後訓練與推理服務層。
在被凍結的GLM-5.2基礎上，其為V1-Venti配備了4名1B級別的LoRA專家。這樣一來，各個專家模塊都在LoRA空間內運行，這套架構天然適配持續學習。其還可以通過即插即用的LoRA拓展全新能力，無需改動、覆蓋基座模型已習得的知識。
與此同時，Mind Lab還證明了在萬億參數稀疏MoE模型上，也能跑通LoRA強化學習。LoRA在這套系統中發揮了三方面作用：
第一，縮減可訓練參數，降低優化器顯存與梯度通信壓力；
第二，允許多個強化學習任務、多個下游模型共用凍結基座，大幅攤薄超大模型成本；
第三，強化學習信號能夠同時影響全局推理與獨立專家模塊。
在Kimi K2系統中，該方案將算力與通信開銷降至傳統全參數強化學習方案的約10%，同時保留對萬億規模基座模型進行適配優化的能力。
在此基礎上，Mind Lab推出MindLab Toolkit（簡稱MinT），這是一套面向LoRA後訓練與在線推理服務的託管式基礎設施系統，能夠管理百萬級LoRA策略資源庫，在共享萬億參數級別基座模型的基礎上，完成指定版本適配器的訓練與在線推理。
這套架構恰好為持續學習提供了可行載體，持續學習需要實現經驗增量沉澱，又不能破壞模型原有基礎能力；而通過凍結基座、把所有新增技能與個性化狀態承載在獨立LoRA適配器中，既能持續拓展系統能力邊界，也能讓每一個用戶專屬智能體長期迭代進化、互不干擾。
03.
頭部實驗室集體押注的路線
為何只有少數團隊跑通？
這條前景廣闊的技術路線，如今已是衆多企業押注的賽道，但當下真正跑通商業化閉環的仍然稀缺。
第一類玩家以Mind Lab、Thinking Machines Lab為代表，其也是全球唯二擁有能夠同時開機數百個萬億參數大模型強化學習訓練的Infra的團隊。
第二類玩家是發展處於早期的Fireworks AI、Together AI，Fireworks AI能夠在一個基座模型上託管數百個LoRA，並根據每次請求動態選擇適配器，Together AI已將LoRA設為默認微調方式。
雖然技術成熟度各有不同，但這些創企已然站在資本、產業的聚光燈下，估值飆漲。這進一步證明，持續學習已成為下一代大模型不可或缺的核心底層能力，而LoRA架構，恰好為持續學習的工程落地提供了有效技術路徑。
但這一技術全鏈路的落地門檻很高。
其考驗的是團隊的綜合硬實力，從大模型RL工程、稀疏MoE優化，到海量適配器調度、長時序訓練、Agent系統一體化搭建等，每一環都需要依託團隊的複合型人才建設，以及長年累月的技術積累。
Mind Lab正是業內為數不多率先跑通整套閉環體系的團隊。
2023年，Mind Lab創始人Andrew Chen便與現任騰訊首席AI科學家的姚順雨聯合發表論文並提出FireAct，探索以強化學習方式提高大模型Agent能力。
到後面2025年10月Mind Lab成立，其接連發布專為超長上下文強化學習設計的LongStraw、Macaron-V1模型預覽版、基於MinT訓練出來的模型Macaron-A2UI、針對個性化長期記憶微調的OpenClaw框架MindClaw、MinT。
如今最新的Macaron-V1模型便是其團隊前期所有學術研究與工程成果的集大成之作。
在此之上，頂尖的模型能力並非只停留在紙面跑分與技術演示，Mind Lab獲多家頭部大廠注資以及快速衝高的ARR（年度經常性收入），就是這套技術路線商業價值更直觀的印證。
今年6月，Mind Lab完成累計近5000萬美元（約合人民幣3.39億元）孖展，投資方包括美團、元禾璞華、韶音、變量資本等。
商業化數據方面，Andrew在WAIC上分享，7月開啓商業化後，該公司兩周內就實現了1000萬美元ARR。其技術落地的轉化效率居於行業第一梯隊。
Mind Lab還具備國內團隊得天獨厚的優勢，那就是充分利用中國開源模型生態中大量頂尖的基礎模型，站在巨人的肩膀上進行開發。
如今，其不僅聯動字節、英偉達共建LoRA訓練底座，還和韶音、AI硬件企業等建立合作。長遠來看，Mind Lab提出了極具普惠性的願景：希望訓練模型這件事，最後能像調用模型一樣簡單，會用token就會訓token。
現在行業裏已經形成了基礎模型+LoRA適配器+持續學習的全新產業鏈，而Mind Lab憑藉全線技術成果，已率先打通了理論研究、底層系統基建、商業化模型交付的全鏈路閉環，為整條產業賽道的規模化落地拓寬了邊界。
04.
結語：里程碑落地！
Macaron-V1將LoRA技術做成商用產品
Mind Lab Macaron-V1系列模型的正式發布，是以混合LoRA為核心的PEFT縮放範式從實驗室理論走向規模化商用的里程碑。不同於單一參數堆疊的傳統大模型路線，這套「強共享基座+海量可演化輕量化適配器」架構，既大幅降低企業開發、算力、存儲成本，又依託多模塊協同實現群體智能與長期自主Agent能力。
未來AI落地，可能不會只有一個萬能大模型，而是無數依附共享基座、擁有獨立記憶與能力的個性化智能體共生。
