模型蒸餾是什麼？大模型教小模型，也教出爭議

2026 年 2 月 23 日，Anthropic 發了一篇不太尋常的公告：過去幾個月，約 2.4 萬個假帳號、超過 1,600 萬次查詢，有組織地餵問題給 Claude、收集回答。Anthropic 把它叫做「工業級蒸餾行動」，點名三家中國 AI 實驗室——DeepSeek、Moonshot AI、MiniMax。

十一天前，OpenAI 才剛向美國眾議院中國特設委員會遞交備忘錄，指控 DeepSeek 員工寫程式、透過混淆過的第三方 router 大量抓 OpenAI 模型的輸出。Google 同月也披露，有人用超過 10 萬條 prompt 試圖套出 Gemini 的推理過程。

三家美國實驗室指控的行為，核心是同一個技術：模型蒸餾。尷尬的地方在於，這個技術本身完全合法——而且每一家自己都在做。

模型蒸餾（model distillation，也稱知識蒸餾/knowledge distillation）是用大模型（teacher，老師模型）的輸出來訓練小模型（student，學生模型）的技術。學生模型跳過從原始資料從頭學習的過程，直接模仿老師對大量問題的回答，把大模型的能力壓進一個更小、更便宜、反應更快的模型。同一家公司拿自家大模型蒸自家小模型，是業界標準做法；爭議出現在拿「別人家」的模型當老師。

打個比方：大模型是熬了三天三夜的原湯，用整個網路的資料、幾億美元的算力熬出來。蒸餾就是把這鍋湯濃縮成雞湯塊——體積小、成本低、隨取隨用，湯的精華大部分還在。而 2026 年這場風波的版本是：有人被指控拿著水桶，到別人家的湯鍋裡一桶一桶舀回去，濃縮成自己的雞湯塊來賣。

2015 年 Hinton 的論文，十年後變成每家的產品線

「蒸餾」這個詞來自 Geoffrey Hinton、Oriol Vinyals、Jeff Dean 2015 年的論文《Distilling the Knowledge in a Neural Network》。論文最重要的洞察是 soft targets（軟標籤）：老師模型的價值除了標準答案，還在它對「所有選項」的機率判斷。一個好模型看到手寫的 2，會說「9 成是 2、快 1 成像 3、幾乎不可能是 7」——這個分布本身就是知識。學生看老師的完整判斷來學，比只看標準答案學得快、學得像。

2015 年這是模型壓縮的小眾技巧。LLM（大型語言模型）時代它變成產品線邏輯：旗艦模型負責打榜，蒸餾出來的小模型負責跑量。你每天用到的「快又便宜」的那一檔模型，多半就是這樣來的。

自家蒸自家：公開講出來的例子

這件事各家做得很公開：

• Google——2024 年 5 月 I/O 上直接說明，Gemini 1.5 Flash 是由 1.5 Pro 透過蒸餾訓練出來的，把大模型「最核心的知識與技能」轉移給更小的模型。
• OpenAI——2024 年 10 月 DevDay 把 Model Distillation 做成 API（應用程式介面）的內建功能：存下 GPT-4o 或 o1 的輸出，直接拿去微調 GPT-4o mini，官方工作流一條龍。
• DeepSeek 自己——2025 年 1 月發布 R1 時，同場釋出一批拿 R1 輸出蒸餾的 Qwen、Llama 小模型，權重開源，任何人都能下載。

順手把兩個常混淆的鄰居概念放在一起看：

技術	做的事	產出
蒸餾（distillation）	用老師模型的輸出當訓練資料，訓練學生模型	一個新的、更小的模型
微調（fine-tuning）	用一批資料（人寫的或模型生的）繼續訓練現有模型	同一個模型的特化版
量化（quantization）	把模型參數的數字精度壓低（如 16-bit 變 4-bit）	同一個模型的瘦身版

蒸餾常常拿微調當手段——差別在資料是老師模型生的。量化則從頭到尾都是同一個模型，只是存得更省；蒸餾訓練出來的是另一個模型。

2025 到 2026：從一句質疑變成國會備忘錄

爭議的時間線值得完整看一遍：

時間	事件
2025 年 1 月	DeepSeek R1 發布震撼市場。OpenAI 向《金融時報》表示看到 DeepSeek 疑似蒸餾其模型的跡象；白宮 AI 顧問 David Sacks 稱有「大量證據」。OpenAI 與微軟前一年已封鎖疑似相關帳號
2026 年 2 月 12 日	OpenAI 向美國眾議院中國特設委員會遞交備忘錄，指控 DeepSeek 員工開發方法規避存取限制、透過混淆的第三方 router 程式化抓取模型輸出，稱其「搭便車」（free-ride）於美國實驗室的能力
2026 年 2 月 13 日	Google 威脅情報團隊披露針對 Gemini 的模型萃取行動，其中一波超過 10 萬條 prompt，目標是套出推理過程
2026 年 2 月 23 日	Anthropic 披露「工業級蒸餾行動」：約 2.4 萬個假帳號、逾 1,600 萬次查詢，點名 DeepSeek、Moonshot AI、MiniMax；其中對 MiniMax 的指控規模最大，超過 1,300 萬次
2026 年 4 月	DeepSeek V4 發布，在程式測試基準拿下開源模型最高分，「老師是誰」的質疑再起

Anthropic 的公告裡有個生動的細節：這些行動用「九頭蛇式」的帳號網路，一個帳號被封，幾小時內新帳號補上；單一 proxy 網路同時管理超過 2 萬個假帳號，還刻意把蒸餾流量混進無關請求裡躲偵測。Anthropic 的對策包括行為指紋偵測、跟同業共享情資，以及在模型層降低輸出被拿去蒸餾的效用。

這算不算偷？先把三個層次分開

這場論戰容易吵成一團，因為三件不同的事被混在一起講。分開看：

第一層：自蒸自家。 完全合法、業界標準，沒有任何爭議。Gemini Flash、GPT-4o mini 這類產品線都靠它。

第二層：違反服務條款的 API 萃取。 OpenAI、Anthropic、Google 的服務條款（Terms of Service）都明文禁止用模型輸出訓練競爭模型。用假帳號、proxy 網路規避封鎖去大量抓輸出，在合約層面是明確違約，手段本身還可能構成未經授權存取。2026 年 2 月這波指控主要落在這一層——各家控訴的重點與其說是「你學了我」，更多是「你用詐欺性手段繞過我的封鎖」。

第三層：「這算不算偷」的開放論戰。 這層最難，因為法律還沒跟上。模型輸出受不受著作權保護，目前沒有定論；「從輸出學習」和人類讀書學習的類比要不要成立，也還在吵。

嚴打方的論點：前沿模型的能力是幾十億美元投資的成果，工業級蒸餾侵蝕投資誘因，OpenAI 更把它框成國家安全問題。另一方的迴力鏢論點同樣有力：這些實驗室自己的訓練資料，大量來自未經授權抓取的網路內容——《紐約時報》2023 年底就為此告了 OpenAI，官司至今未了。指控別人拿走輸出的公司，自己也被指控拿走了輸入。

新加坡南洋理工大學 AI 教授 Erik Cambria 對 CNBC 的說法很中肯：「合法使用與對抗性濫用之間的邊界，常常是模糊的」——因為蒸餾本來就是全行業的標準做法，包括美國實驗室自己。

你可以帶走的三件事

第一，看到「小模型逼近大模型」的跑分，先問老師是誰。 蒸餾解釋了為什麼 2025 年後小模型進步得不像話——能力可以被壓縮轉移，跑分追上和獨立研發出同等能力，是兩件事。

第二，蒸餾是你自己就能合法用的省錢工具。 用 OpenAI 的 distillation 功能，或拿開源蒸餾模型自架，把大模型能力壓進小模型跑高頻任務，成本可以差一個數量級。紅線只有一條：用 A 家的輸出訓練模型再回頭跟 A 競爭，幾乎每家的服務條款都禁止。

第三，判斷任何蒸餾爭議，問三個問題就夠： 老師是誰家的？拿輸出的方式有沒有違約或繞過封鎖？訓練出來的東西拿去跟老師競爭嗎？三個都乾淨，是產品線；三個都踩，就是 2026 年 2 月那種國會備忘錄等級的風波。

真正未解的問題留給法院：模型輸出到底算不算受保護的資產。在那之前，「蒸餾戰爭」會一直卡在各說各話——一邊出示流量證據，一邊保持沉默，而技術本身繼續是每家產品線的日常。

資料來源：Anthropic 官方公告、OpenAI 官方文件、Google 官方部落格、arXiv、CNBC、Bloomberg、Fortune、NBC News、Asia Times

矽基前沿 · 大百科線（編輯：廖玄同），《模型蒸餾是什麼？大模型教小模型，也教出爭議》，矽基前沿 [Si]gnals，2026-07-05。https://signals.tw/articles/what-is-model-distillation/