SLM 是什麼？小語言模型的夠用經濟學

2025 年 6 月，NVIDIA 八位研究員（Belcak 等人）發了一篇論文，標題把話講死：《Small Language Models are the Future of Agentic AI》——小語言模型才是 agentic AI 的未來。

全世界最會賣大 GPU 的公司，出面告訴你「多數時候用不到那麼大的模型」。這個反差讓論文在 agent 圈傳了一整年。

他們的帳很直接。AI agent 的工作迴圈裡，大部分步驟是重複、格式固定的窄任務——抽欄位、改格式、分類、填模板、下一步路由。這些活派一個 70B 以上的大型語言模型（LLM）去做，等於開貨櫃車去巷口買早餐：載得動，但油錢、停車、等待時間全是浪費。論文估算，服務一個 7B 小模型，在延遲、能耗與運算量上比 70-175B 的大模型便宜 10 到 30 倍。

小語言模型（small language model，SLM）指參數量小到能塞進一般消費性硬體——筆電、手機、單張 GPU——而且推論延遲低到實用的語言模型。NVIDIA 2025 年的論文以 10B 參數以下當基準線。「小」是相對詞：隨著硬體與訓練方法進步，這條邊界每年往上移，今天的「大」可能是三年後的「小」。

先把「小」講清楚。SLM 沒有一個全球公認的參數門檻。NVIDIA 論文給的定義很務實：能放進常見消費性電子裝置、推論快到不干擾使用的模型，就算小；以 2025 年的硬體，10B 參數以下大致都符合。也有人把邊界放寬到 30B 級——因為 4-bit 量化後的 30B 模型，一台 32GB RAM 的筆電也塞得下。

所以判斷標準與其記數字，記硬體比較實在：

1. 手機級——1B 到 4B。Apple 的裝置端模型約 3B，Google Gemma 4 的 E2B 主打手機和樹莓派。
2. 筆電級——4B 到 14B。Phi-4（14B）、Qwen3.5-9B 這個級距，一台 16-32GB RAM 的筆電跑得動。
3. 單卡級——到 30B 上下。一張消費級 GPU 或 Mac Studio 能服務的上限。

跟它相對的是 frontier model：GPT-5、Claude、Gemini 這類需要資料中心整排加速器伺服的模型。中間沒有硬線，只有「你手上的硬體跑不跑得動」這條會移動的線。

NVIDIA 的帳：agent 迴圈裡四到七成呼叫可以換

這篇論文（arXiv 2506.02153）的核心觀察：agent 系統跟聊天機器人的負載長得完全不一樣。聊天是開放式對話，什麼都可能被問到；agent 迴圈是少數幾種專門任務，重複做、變化小。

他們拆了三個開源 agent 專案的實際呼叫，估計可以換成小模型的比例：

Agent 專案	類型	可換成 SLM 的呼叫比例
MetaGPT	多角色軟體開發 agent	約 60%
Open Operator	工作流自動化	約 40%
Cradle	圖形介面操作 agent	約 70%

剩下那三到六成呢？留給大模型。論文真正主張的是異質系統（heterogeneous system）：同一個 agent 裡混用大小模型，各自做擅長的事。這個模式在業界叫 model routing（模型路由）——前面用小模型接客，遇到需要深度推理的難題再往上送 frontier model。就像診所的分流：掛號、量血壓、批價由櫃檯和護理師處理，主治醫師只看真正需要判斷的病。

2026 年檯面上的小模型

四大陣營都在出小模型，而且愈出愈密：

模型	廠商與發布時間	尺寸	定位
Phi-4 / Phi-4-mini	Microsoft，2024 年 12 月 / 2025 年 2 月	14B / 3.8B	合成資料訓練路線，數學推理強；mini 支援工具呼叫（function calling），MIT 授權
Gemma 4（E2B / E4B）	Google，2026 年 4 月	等效 2B / 4B（另有 26B 混合專家版、31B）	主打手機、Raspberry Pi、Jetson 等邊緣裝置；128K context，Apache 2.0
Qwen3.5 Small	Alibaba，2026 年 3 月	0.8B / 2B / 4B / 9B	原生多模態；4B 主打視覺 agent、9B 主打推理，Apache 2.0
Llama 3.2（1B / 3B）	Meta，2024 年 9 月	1B / 3B	開源端側先行者，週邊工具生態最齊
Apple 裝置端基礎模型	Apple，2025 年開放開發者	約 3B	內建在 iPhone / Mac，開發者用 Foundation Models framework 直接呼叫，推論在裝置上跑、不產生 API 帳單

兩個訊號比單一模型重要。第一，Google 把 Gemma 4 的 E2B/E4B 直接做進 Android 的開發者預覽，Apple 把 3B 模型開放給所有 app 呼叫——端側 AI 已經從 demo 變成作業系統內建能力。第二，Qwen3.5-4B 這種尺寸開始做到視覺理解和介面操作，以前這是 30B 級才有的能力，小模型的能力線確實逐年上移。

讓模型變小的三條路

「小模型」這個詞常常混著三件不同的事講。並排看會清楚很多：

路線	做法	結果
原生小模型（SLM）	直接訓練一個參數少的模型，用資料品質換能力（Phi 系列的合成資料路線是代表）	參數真的少，知識容量天生有限，但針對窄任務可以調得很精
量化（quantization）	把已訓練好的大模型參數精度壓低（16-bit 壓到 4-bit）	檔案變小 4 倍、跑得動筆電，但參數個數沒變，知識量保留、精度略損
蒸餾（distillation）	用大模型的輸出當教材，把特定能力「教」進小模型（如 DeepSeek-R1-Distill 系列）	小模型在特定任務上逼近老師，任務外的能力不保證

三條路不互斥，實務上常疊著用——先蒸餾出一個 8B，再量化到 4-bit 塞進筆電。量化那條路站內有獨立條目〈什麼是 quantization〉，講的是「把大模型壓小」；這一條講的是「模型本來就小」的路線，以及什麼時候該選它。

能力斷崖：什麼錢千萬別省

小模型的省錢邏輯只在斷崖之前成立。斷崖大概在這幾個地方：

• 長推理鏈。多步推理每一步的小誤差會累積，小模型步數一多就散掉。複雜數學、多檔案 debug、法律條款交叉推理，別省。
• 長 context 綜合。幾萬 token 的文件交叉比對、跨來源歸納，小模型的注意力品質撐不住。
• 開放式任務。沒有固定格式、需要世界知識兜底的問題——小模型參數少，知識覆蓋就是薄。
• 高後果決策。錯了要賠錢、要重跑整條 pipeline 的判斷，多花的 API 錢是保險費。

反過來，安全區的特徵是「格式固定、錯誤可驗證」：分類、欄位抽取、格式轉換、路由判斷、短文摘要。輸出對不對一眼看得出來、或程式驗得出來的任務，換小模型幾乎沒有下行風險。

想自己驗證這條線在哪，動作很簡單：裝 Ollama，下載 phi4-mini 或 Qwen3.5 的 4B 版，拿你 agent 裡最重複的那一步（例如把客戶 email 抽成 JSON 欄位）跑 20 筆真實資料，跟你現在用的大模型輸出並排比。一樣就換，省下來的是每一次呼叫的錢；有落差就留在大模型，這條線你自己測出來的最準。

收尾

NVIDIA 那篇論文最有用的地方是給了一個可操作的框架：把 agent 的呼叫拆開看，哪些是重複的窄任務、哪些是真推理，前者估了 40-70% 可以換小模型。這個比例會隨你的系統不同，但「先拆再換」的順序不會變。

三個可以帶走的事實：SLM 的實務基準線是 10B 參數以下、塞得進消費硬體；7B 級模型的服務成本比 70B 級低一個數量級；2026 年手機作業系統已內建 3B 級模型供 app 直接呼叫。

還沒有答案的問題：能力線每年上移，2026 年的 9B 已經在做 2024 年 30B 的事——這條「夠用」的線最終會停在哪，決定了 frontier model 到底還剩多少獨占任務。

資料來源：arXiv（Belcak et al.）、Google 官方部落格、Qwen 官方公告、Apple Machine Learning Research、Microsoft Azure AI Foundry Blog

矽基前沿 · 大百科線（編輯：廖玄同），《SLM 是什麼？小語言模型的夠用經濟學》，矽基前沿 [Si]gnals，2026-07-05。https://signals.tw/articles/what-is-small-language-model/