continual learning 是什麼？邊用邊學還沒解

2025 年 6 月 2 日，Dwarkesh Patel 發了一篇部落格文章。

這位訪遍 AI 界大人物的 podcast 主持人，一向被歸在樂觀陣營。這篇的標題卻是〈為什麼我不認為通用人工智慧（AGI）近在眼前〉。他給的核心理由只有一個：「缺乏持續學習，是一個巨大、巨大的問題。」模型在很多任務上的起點比一般人高，但你沒有辦法給它高層次的回饋——它學不會你的工作。他的預測：要到 2032 年，AI 才有五成機率像人類一樣在工作中自然學會新東西。

這篇文章把一個 1989 年就被命名的老問題，變成 2026 年 AI 圈討論度最高的詞。

持續學習（continual learning）是讓 AI 模型在部署之後，能從新資料與使用經驗中繼續學習、更新自身權重（weights），同時不災難性遺忘原有能力的技術方向。今天的大型語言模型（LLM）在訓練完成後權重就凍結，使用者教它的東西不會改變模型本身。持續學習要解的，就是讓模型像人類員工一樣，越做越熟練。

四個月後，Andrej Karpathy 在 Dwarkesh 的訪談（2025 年 10 月 17 日）裡給了這個問題最好記的畫面：「當我睡著，某種神奇的事情發生了……有一個蒸餾的過程，把上下文蒸餾進我大腦的權重裡。」然後補一句：「我們在大型語言模型裡，沒有這個機制的等價物。」

人會睡覺。模型不會。這就是整件事的核心。

模型為什麼下班不會變聰明

想像兩個新員工。人類員工第一天什麼都要問，三個月後開始上手，半年後在帶新人。AI 員工不管來多久，每天都是第一天上班。

原因出在 LLM 的生命週期被切成兩段：訓練（training）階段砸大錢更新權重，之後權重凍結；推論（inference）階段只拿凍結的權重算答案，不管你跟它講了什麼，權重一個位元都不會動。session 結束，一切歸零。這也是模型有知識截止日（knowledge cutoff）的原因——它的世界停在訓練資料的最後一天。

權重凍結背後有三個現實約束：更新權重很貴；更新後的模型要重新驗證安全性；最麻煩的是，一旦開始更新，就撞上一堵 37 年的老牆。

災難性遺忘：1989 年就命名的路障

災難性遺忘（catastrophic forgetting）指神經網路學新任務時，權重更新覆蓋掉舊任務依賴的權重，舊能力突然大幅退化。McCloskey 與 Cohen 在 1989 年的論文就描述了這件事——比 ChatGPT 早了 33 年。

你可能會想：那就每天下班幫模型做微調（fine-tuning）不就好了？問題是微調至今仍是一場取捨。2024 年的論文〈LoRA Learns Less and Forgets Less〉做了系統性實測：全參數微調學得多、忘得也多；LoRA 這類低秩微調忘得少、但學得也少。你可以選擇學習量，或選擇保留舊能力，很難兩個都要。

所以「持續學習」這四個字裡，難的其實是後半句沒說出來的部分——持續學習而不變笨。

跟 agent memory 的邊界：筆記本與手感

這是最容易混淆的地方，因為兩個東西的產品文案都叫「AI 會記得你」。

	Agent memory	Continual learning
資訊存在哪	外部檔案、向量庫、資料庫	模型權重裡
模型本身	完全不變	真的更新
換個模型	記憶還在，接上就能用	能力跟著模型走
類比	交接筆記本	練出來的手感
2026 年現況	生產可用	沒有生產級解法

ChatGPT 的 memory、Claude 的記憶功能、Claude Code 的 CLAUDE.md，全部屬於左邊：把你的偏好寫進外部儲存，下次對話再塞回 context window。模型讀了筆記，表現得像記得你；模型本身跟上週一樣。

回到那位每天失憶的 AI 員工：memory 是給他一本超詳細的交接筆記，每天早上讀完可以裝得很熟練。手感沒有長在身上——筆記拿走，他又是第一天。業界現在靠筆記本撐場面，正是因為「把手感練進身體」這件事還沒解。這條邊界在〈agent memory 是什麼〉有完整拆解。

2026 年檯面上的四條路

方向	代表	動權重嗎	現況
Memory ＋ context engineering	ChatGPT memory、CLAUDE.md、Mem0	不動	生產可用的湊合法
Sleep-time compute	Letta 團隊 2025 年 4 月論文	不動，離線改寫記憶狀態	研究＋早期產品
微調路線	LoRA、全參數微調	動	遺忘取捨未解
新架構	Google Nested Learning／Hope	動，多層更新頻率	論文階段

第二條值得多講一句。Sleep-time compute 借了 Karpathy 那個睡眠比喻的一半：讓 agent 在沒有任務的空檔「離線思考」，預先消化 context、改寫自己的記憶狀態。UC Berkeley 與 Letta 團隊 2025 年 4 月的論文實測，這能把答同類問題所需的即時計算降到約五分之一。只是它蒸餾的對象是記憶檔案，權重仍然不動——是更聰明的筆記整理術。

第四條是目前最接近「真的動權重」的公開研究。Google Research 在 2025 年 11 月 7 日發表 Nested Learning 範式（NeurIPS 2025 論文），主張把模型架構和優化規則看成同一件事的不同層——一組嵌套的學習問題，各自用不同頻率更新，像大腦裡快慢不同的記憶系統。概念驗證模型叫 Hope，一個能自我修改的遞迴架構。方向漂亮，離生產還遠。

前沿實驗室的態度倒是越來越激進。Anthropic 執行長 Dario Amodei 在 2025 年 8 月公開說，有證據顯示持續學習「是另一個沒有看起來那麼難的問題」；同公司的 Sholto Douglas 更在年末直接預測，持續學習可能在 2026 年被「令人滿意地解決」。Karpathy 的估計保守一些——依 Transformer News 的整理，他認為這個領域還差「三、四或五篇」重要論文。

「越用越聰明」怎麼驗真假

在持續學習真的解掉之前，你會持續看到「我們的 AI 越用越聰明」這類文案。三個問題可以快速驗貨：

1. 模型權重有沒有更新？ 沒有的話，那是 memory 或檢索增強生成（RAG）——筆記本一類的東西，模型本身沒變。
2. 學到的東西換個環境還在嗎？ 把記憶檔案刪掉、換個帳號，「聰明」如果跟著消失，就是外掛。
3. 舊能力有沒有回歸測試？ 真的在更新權重的系統，必須證明新學的東西沒有讓舊能力退化——這正是災難性遺忘的檢查點。

可以直接動手試的一件事：打開你在用的 AI 工具的記憶管理介面（ChatGPT 和 Claude 都有），看看裡面存了什麼。你會發現那是一條條可編輯的文字，這就是「它記得你」的全部真相——也順便把記錯的條目刪一刪。

收個尾。Dwarkesh 那篇文章之所以有殺傷力，是因為它指出了一個誠實的現狀：模型的聰明是出廠設定，你的使用不會讓它變強。Sholto 賭 2026 年解掉，Karpathy 說還差幾篇論文，兩邊押的其實是同一件事——誰先做出「會睡覺的模型」。等哪天某家實驗室宣布解了持續學習，拿上面三個問題檢查一遍；通過了，那才是這本大百科需要大改版的一天。

資料來源：Dwarkesh Patel 部落格與 Podcast、Google Research、arXiv、ScienceDirect、Transformer News

矽基前沿 · 大百科線（編輯：廖玄同），《continual learning 是什麼？邊用邊學還沒解》，矽基前沿 [Si]gnals，2026-07-05。https://signals.tw/articles/what-is-continual-learning/