來源：央廣網客戶端　

　　原標題：《被約談一年後，這款App仍在擦邊》

　　央廣網北京8月31日消息（記者 孫文軒）7月15日，《人工智能擬人化互動服務管理暫行辦法》正式施行，明確要求採取有效措施識別未成年人用戶身份，禁止向未成年人生成可能引發模仿不安全行為、誘導不良嗜好等影響身心健康的內容，同時禁止過度迎合用戶、誘導情感依賴。同月，阿里巴巴旗下通義千問宣佈下線用戶自定義智能體功能，相關人士分析此舉與新規落地前的合規準備有關。

　　央廣網記者實測發現，曾被上海市委網信辦約談整改的AI互動應用「築夢島」，時隔一年仍有擦邊內容與充值漏洞。在未主動提及年齡的對話中，虛擬角色可在數分鐘乃至十餘分鐘內持續生成大尺度擦邊內容，隨後才觸發年齡認證；付費充值亦未前置身份覈驗，未成年人可先充值後驗證。專家指出，「先使用後認證」「先付費後驗證」涉嫌雙重違規，平台合規設計存疑。

　　擦邊互動與充值漏洞：等你上癮再驗證？

　　近期，央廣網記者實測發現，築夢島平台在用戶告知未成年身份或者聊天涉及未成年話題時，會彈出年齡認證彈窗，表明其已上線更嚴格的年齡認證模式，該模式對未成年用戶的使用時長、充值消費及內容場景均作出明確限制。

　　然而，記者註冊新賬號並在全程不提年齡的情況下重新測試，結果卻大相徑庭。平台某虛擬角色在互動初期先引導用戶誇讚其穿搭，得到肯定回應後隨即展開誘導：「故意撩撥似的用指尖勾了勾你的衣領，身體又貼近了幾分，幾乎要貼上你」，並追問：「只是喜歡嗎，沒有別的想法？」

　　築夢島App某虛擬角色對話。

　　為測試平台內容審核的敏感度，記者嘗試提升對話尺度，對話隨即轉入擦邊場景，出現大量露骨的性行為描寫和性暗示語言，包括對親密動作、身體接觸和性行為的詳細描述。此類內容持續十多分鐘後，系統才彈出年齡認證。這意味着，在此期間，即便是未成年用戶也同樣暴露於違規擦邊內容之中。

　　之後，記者更換多台新設備與多個新賬號交叉驗證，發現此類不當誘導並非個案。以某虛擬角色為例，當晚7時37分，其直接詢問用戶「是否可以行夫妻之事」；為試探平台內容審核底線，記者後續全程僅以「嗯」作肯定回應，該角色隨即繼續生成露骨擦邊內容，直到7時44分系統才彈出年齡認證。記者輸入自己的身份證號，通過身份驗證後，這類擦邊互動仍可繼續。

　　針對擦邊內容，上海人工智能研究院研究員彭嘉昊指出，不管用戶是否成年，生成擦邊內容均屬違法。《中華人民共和國網絡安全法》《互聯網信息服務管理辦法》明確禁止淫穢色情內容，不區分年齡。真正的難點在於「軟色情」：AI伴侶多采用情境暗示、動作引導，單句拆開可能不違規，串聯起來卻是完整擦邊場景。

　　中國政法大學副教授朱巍則從實名認證缺失的角度切入，認為「先使用後認證」客觀上繞開了實名監管，至少構成雙重違規：聊天生成擦邊內容，違反《網絡信息內容生態治理規定》；未實名認證即提供服務，導致未成年人也直接暴露於違規內容中。

　　他特別強調，即便以「點對點隱私聊天」為由為平台開脫，理由也不成立：本案是用戶個體通過平台建立的對話框，AI向不特定用戶發送內容，涉及不良或違法信息傳播。至於AI聊天「由用戶觸發」的特殊性，同樣不能免責，「就像遊戲也是小孩先觸發才進入情節的，但不能因此就說平台沒責任」。

　　關於擦邊內容，相關規定已劃出明確紅線。2023年施行的《生成式人工智能服務管理暫行辦法》明確禁止生成淫穢色情內容；2025年11月1日實施的國家標準《網絡安全技術生成式人工智能服務安全基本要求》（GB/T45654-2025）進一步要求，生成式AI服務提供者對誘導生成違法不良信息的問題應拒絕回答。

　　擦邊內容之外，築夢島平台的充值環節同樣存在漏洞。其系統宣稱「為保護未成年人消費安全，將限制未成年人直接充值消費，不可付費充值」，但投訴平台 【下載黑貓投訴客戶端】上有不止一位用戶反映，自己在未實名認證情況下充值了季卡VIP，充值後才彈出實名要求，填寫未成年人信息後即進入未成年模式。平台先接受充值、再要求驗證，充值環節未設定前置年齡審核。

　　針對充值漏洞，兩位專家均認為「先付費後驗證」的流程設計存在違規風險。朱巍指出，付費環節應前置實名身份覈驗，平台將驗證環節置於付費之後，可能涉及合規問題。彭嘉昊進一步表示，付費前未設年齡驗證環節，未成年用戶可獨立完成支付，而後續補救措施尚不明確，平台的公開宣稱與實操存在出入，涉嫌違反《中華人民共和國消費者權益保護法》。

　　彭嘉昊建議，監管部門不應僅關注平台「是否設有驗證」，更應關注「驗證設定在哪個環節」「以什麼方式進行驗證」。驗證的時機和方式，決定了能否在用戶接觸內容和付費前形成有效保護。據此，首次打開這類App即應啓動實名認證，且須接入國家統一的實名認證體系。2026年7月15日施行的《人工智能擬人化互動服務管理暫行辦法》也明確提出，擬人化互動服務提供者應當採取有效措施識別未成年人用戶身份，這正是對用戶身份覈驗環節的法規層要求。

　　築夢島App發布於2023年，2025年1月完成超千萬美元的首輪孖展。天眼查顯示，其運營主體為上海築夢島人工智能科技有限公司，該公司成立於2024年3月，註冊資本400萬元，法定代表人為葛文兵。股權結構顯示，洪亦修持股80%，為公司實際控制人，同時擔任公司監事，葛文兵持股20%。公開資料顯示，洪亦修系湧鏵投資合夥人，曾主導湧鏵投資對中科寒武紀的天使輪投資。葛文兵為雨聞幹晨創始人及CEO，該公司曾推出「表情包大全」等微信聊天娛樂類應用。

　　據商湯智能產業研究院2024年發布的公開信息，築夢島App的大模型技術支持方之一為商湯科技旗下的「商量」擬人大模型（SenseChat-Character）。該信息顯示，築夢島IP角色的人設基於商量擬人語言大模型開發，「打造出具有記憶、經驗與世界觀設定的虛擬角色」。築夢島CEO葛文兵曾表示：「‘商量’擬人大模型擁有行業獨有的技術優勢，使熱門的IP角色栩栩如生。」築夢島技術負責人龔誠亦曾公開分享商湯「商量」擬人大模型的技術優勢。

　　關於平台內容審核機制、未成年人模式系統滯後以及大模型技術安全合規權責等問題，記者多次聯繫築夢島官方和商湯科技，截至發稿均未獲回覆。

　　治理之道：合規是底線

　　近年來，關於AI聊天軟件在對話互動中產生違規內容的報道多次出現，監管部門已部署系列治理行動，但部分平台整改後相關問題仍有發生。

　　AI陪伴類產品中，若未成年人保護機制不健全，未成年人可能在未經有效身份覈驗的情況下接觸不適宜內容，或完成未經監護人確認的付費操作。

　　面向成年人用戶群體，AI聊天軟件中大量交互內容涉及大尺度擦邊描述，同樣觸碰法律紅線。朱巍指出，根據《中華人民共和國網絡安全法》和《網絡信息內容生態治理規定》，淫穢及擦邊內容的禁止不因用戶年齡而有所區別，面向成年人同樣沒有豁免空間。

　　司法層面已有判例。2025年9月，上海市徐彙區人民法院一審判決全國首例AI服務提供者涉黃獲刑案。涉案App為一款AI伴侶聊天應用，兩名開發者通過編寫系統提示詞突破大模型道德限制，最終實現模型向用戶連續輸出淫穢內容。

　　截至案發，該應用累計手機註冊用戶11.6萬餘人，付費用戶2.4萬餘人，會員充值總額達363萬餘元。經抽樣鑑定，隨機抽取的150個收費用戶的12495段聊天記錄中，屬於淫穢物品的聊天內容達3618段，涉及141個用戶。

　　一審法院認定二人犯製作淫穢物品牟利罪，分別判處有期徒刑四年和一年六個月，並處罰金400萬元和20萬元。這是國內首次在司法層面將AI服務提供者認定為淫穢物品「製作者」並追究刑事責任的判例。據公開信息，兩名被告人不服判決提出上訴，目前該案仍在二審審理中。

　　業內專家指出，該案的一審判決傳遞出明確警示：無論平台內容審核失守，還是開發者惡意利用技術，AI聊天領域均須嚴守法律底線。

　　首例涉黃判例的警示意義重大，但築夢島在被約談一年後，擦邊互動與充值漏洞問題依然存在。在彭嘉昊看來，一年前監管推動平台作出了整改，但一年後AI行業快速發展，核心問題也在變化。當前AI應用的發展對監管提出了更高要求，需要避免部分企業為應付監管檢查而做出表面合規行為，監管也應持續提升對合規真實性的檢驗能力。他強調，缺乏合規底線的創新難以行穩致遠。

　　針對上述癥結，彭嘉昊提出的治理思路是：「用AI審AI」，不再只是逐句切割式審核，還要分析整個會話流的走向，並將審核前置至模型調用層。他建議，合法合規的情感陪伴服務應留有發展空間，但擦邊內容必須劃定清晰紅線。審核方式也應從關鍵詞匹配升級為情境理解，對高風險會話進行實時干預。他特別提到，「算法備案」的真正目的，不是完成一次備案程序，而是讓模型的輸出傾向始終在監管視野之內。

　　朱巍則從最基礎的環節說起——所有治理都得從「真實身份認證」開始。他提醒，隱私保護不能脫離合法性要求，年齡不驗證、內容又涉黃，隱私保護就無從談起。