互聯網的優質數據快被喫光了,亞馬遜開始拆書喂AI

愛範兒
08/31

2026 年 8 月,一本藏着 AirTag 的書橫跨美國,最後停在拉斯維加斯的一座亞馬遜倉庫裏。

這枚 AirTag 來自科技媒體 404 Media。一名二手書商在 Biblio 平台收到一筆異常的大額訂單後,配合記者把定位器藏進其中一本書。記者跟着它,找到了亞馬遜在拉斯維加斯的 VGT3 設施。

在那裏工作的員工說,倉庫會接收大批紙質書,切掉書脊和裝訂,再快速掃描散開的書頁。等掃描完成,原書也不可能再作為一本完整的書流通。

一家靠「把書搬上互聯網」起家的公司,二十多年後,正在把那些還沒進入互聯網的書,一本本拆掉,變成數據。

圖|404 Media

AI 喫完互聯網後,開始喫書了

大模型主要從海量文本中學習語言、知識,以及人類描述世界的方式。模型不斷擴張,也就需要更多樣、能提供新信息的訓練語料。

過去很多年,AI 行業默認互聯網是一個近乎無限的數據礦。網頁、論壇、文庫和社交平台積累了幾十億人十多年的表達,文本量大到似乎永遠挖不完。

事實的確如此嗎?

這座礦山還沒有被挖空,容易利用的富礦卻已被許多公司反覆開採。今天任何一家主流模型廠商的語料庫裏,很可能都存着同一個網站在不同時間的抓取版本。

也就是說,互聯網文本看着很多,去掉重複內容,再經過質量和來源篩選,真正能給模型帶來新增信息的優質語料會明顯縮水。

Epoch AI 在 2024 年發布的研究中估算,經過質量和重複調整後,公開的人類文本約有 300 萬億 token。研究還推測,按照當時的趨勢,這些存量會在 2026 至 2032 年間被充分利用。

AI 當然不會馬上陷入無數據可用的境地,但是能夠確定的是,AI 公司想獲得新的優質語料,需要付出的成本越來越高。

與此同時,新的互聯網內容正在被 AI 自己污染。ChatGPT 在 2022 年底面向公衆發布後,越來越多的網頁、博客、評論和產品介紹由模型生成,或者人用模型輔助寫出來的。它們看起來像人話,也比大多數真人寫的更通順,卻很難再被當作純粹的「人類作品」。

人類作品為什麼重要?

並不是因為「人寫的」天然比機器寫的高級。大模型並不直接接觸世界。它主要通過人類留下的文本,學習語言和知識,也學習人怎樣描述和理解這個世界。

AI 內容大量進入互聯網後,會帶來兩個問題。

模型生成內容時,往往會選擇概率較高的表達和結論。來自相近模型的大量文章,也容易共享同一套措辭、知識邊界和錯誤。

這些內容再次進入訓練集,帶回去的往往是上一代模型對舊資料的加工。經過多輪遞歸,高頻模式會被繼續放大,低概率的長尾內容則更容易消失。

網上的文字變多了,能給模型帶來新觀察和新分佈的信息卻沒有同步增加,語料本身也就沒那麼「值錢」了。

另一個更隱匿的原因是,AI 生成內容進入公開網絡後,下一輪網頁抓取面對的不只是更多文字,以及越來越難確認的來源。人寫、還是人機混寫,內容越來越難區分,對於 AI 公司的數據團隊而言,他們需要投入更多成本追蹤來源、過濾重複並覈對質量。

互聯網上的文本總量迅速增加,可用的新數據卻沒有跟着變多。

行業裏管這叫「模型坍縮」。

公共互聯網越來越難處理,科技公司便開始尋找那些還沒有被 AI 生成內容混入的文本——

紙質書。

一本幾十年前出版、從未被數字化過的舊書,有一個今天許多網絡文章已經很難證明的屬性——它可以高度確定是某個人類寫出來的。

設想一本 1987 年出版的地方史。內容可能早已過時,書上卻有作者、出版社、版次、出版時間和 ISBN。只要能確認這個版本沒有以可用形式進入既有訓練集,它就能同時提供新的文本和一條清楚的來歷。

早已絕版的專業手冊、幾十年前的小衆學術著作,也有類似的價值。

再進一步,地方史會記錄小城鎮裏的人名、地名和制度,行業手冊會留下一套已經淡出主流的專業語言。這些內容在訓練數據裏出現得很少,模型很容易忽略它們。隨着常見內容被反覆複製,地方史和專業手冊保存的低頻知識還會進一步被淹沒。

舊書會寫錯,嚴肅出版物也會留下時代的偏見。但在訓練數據裏,一篇被轉載上百次的文章能夠增加的內容,可能還不如一本少見的地方出版物。後者至少記錄了模型沒有見過的知識。

這個時候,一個有趣的反差出現了。

曾經,一本書值錢,是因為它的內容有價值。到了 AI 訓練的語境裏,一本舊書值錢,它還會因為來源可靠、未經生成式 AI 介入而受到重視。

這些舊書最稀缺的地方,未必只是寫得多好,也包括它們來自一個尚未被生成式 AI 覆蓋的年代。

人寫的作品開始被標價

當「人類寫的」本身成為一種可識別的數據標籤,它就會被定價和採購。

過去兩三年,所有人都在談論 AI 的算力軍備競賽。英偉達的顯卡、微軟的核電站、Meta 的數據中心,巨頭們把幾百億美元砸進 GPU 和電力裏。大家都默認,人們很容易產生一種印象,只要算力夠多,模型就能繼續變強。

模型變強同樣離不開數據。芯片可以買,也可以造,電力不夠還可以建電廠。未經 AI 生成內容混入、由人類寫下的優質文本,卻在不斷減少。

「人類作品」正在成為一種稀缺資源。

AI 公司已經在網絡之外尋找這些內容。OpenAI 在 2023 年啓動了數據合作計劃,公開尋找「不容易在公共互聯網上獲得」的大規模資料,其中包括與 Free Law Project 合作取得的法律文書。它還允許機構以私有數據集的方式提供內容,用於基礎模型、微調模型或定製模型。

亞馬遜也不是第一家把目光投向紙質書的公司。

2025 年的 Bartz v. Anthropic 案披露了另一套已經運行的大型掃書計劃。文件顯示,Anthropic 曾花費數百萬美元購買數百萬本新書和二手書。服務商拆掉裝訂,裁開書頁,再把紙本掃成帶有可機讀文字的 PDF。公司給這些文件建立書目數據,再從中挑選不同子集,加入不同模型的訓練數據。

這些動作都指向同一個判斷。

互聯網上乾淨的人類文本快不夠用了,誰能提前鎖住這些存量,誰就握住了下一代模型的命門。

被遺忘,還是被提取

看到亞馬遜切掉書脊、拆散書頁的畫面,人很容易產生一種本能的反感。

一家科技巨頭正在批量毀掉人類留下的文化遺產。

「Rare Books」幾個字又強化了這種感覺。讀者很容易把它理解成珍本、孤本,或者某位重要作家留在世上的少數版本。但在舊書市場裏,「稀有」有時只表示存量少、已經絕版,並不自動等於一本書具有很高的文化或收藏價值。

它可能是一本珍貴的初版書,也可能只是一本出版於 1991 年的軟件操作手冊。

這些書在被掃描之前,就已經在書店角落裏躺了好幾年,等着和成千上萬賣不掉的副本一起,送進化漿池。

這某種程度上能不能算是一種「數字化」呢?

紙本在掃描中被毀掉,文字卻留下了一份可以長期保存、檢索和處理的副本。那些原本可能隨着庫存清理一起消失的內容,也因此有了新的用途。

因此這個事件就進入了一個十分微妙,也十分諷刺的狀態。

這些書在人類的世界裏早就死了——沒人買、沒人讀、連作者都聯繫不上。它們被人類遺忘了幾十年,卻在 AI 時代成了最搶手的數據。

我們大概正在走進一個奇怪的時代:

一台能寫論文、能寫代碼、能寫小說的人工智能,它下一代的訓練資料,正從一本本落滿灰塵的舊書裏,一頁一頁地剝出來。

作者|方俊鳴

編輯|肖欽鵬

免責聲明:投資有風險,本文並非投資建議,以上內容不應被視為任何金融產品的購買或出售要約、建議或邀請,作者或其他用戶的任何相關討論、評論或帖子也不應被視為此類內容。本文僅供一般參考,不考慮您的個人投資目標、財務狀況或需求。TTM對信息的準確性和完整性不承擔任何責任或保證,投資者應自行研究並在投資前尋求專業建議。

熱議股票

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10