模型昨天還聰明,今天變笨了?準備一份固定考題當標準
你的感覺,兩個方向都會騙你
同一個 prompt,昨天丟給 Claude 交回一份乾淨俐落的東西,今天丟過去像換了個第一天上工的實習生:讀不懂你的指令、握不住剛剛才講過的事、繞了一大圈還做錯。你沒改任何設定,於是那個念頭浮上來——它是不是被偷偷降智了?
這幾週這個念頭特別多人有,Opus 首當其衝。GitHub 上有人這樣寫自己的一週:「一天,它是全世界最好的 Claude;隔天早上,它連自己在哪個資料夾都講不出來。」另一則更火,說這落差像「相差 100 個 IQ 點」,付了每月 £200 拿到的卻是「被閹割版」。
先別急著退訂,也別急著相信「他們在偷換小模型省算力」。因為「降智」這兩個字,其實把四件機制完全不一樣的事塞進了同一句抱怨。要判斷、要自保,第一步是把它拆開。
連 Anthropic 自己,都不是靠感覺抓到降智的
2026 年 4 月,Anthropic 做了一件很少 AI 公司會做的事:針對 Claude Code 前面六週的「變笨」抱怨,發了一份公開的驗屍報告,把根因、日期、機制全攤出來。
報告裡藏著一句最該被記住的話。他們坦承:使用者回報湧進來的時候,內部使用和內部評測一開始都重現不出問題,很難跟模型本來就有的正常波動區分開。真正抓到兇手,是靠對系統提示變更做更大範圍的 ablation 測試——把每個改動一個一個關掉、比對輸出——才量出一個約 3% 的品質掉幅。
停在這裡想一下這代表什麼。原廠手上有模型權重、有完整 log、有跑不完的評測資源,一開始都分不清「真降智」和「今天手氣不好」。那末端的你,靠著幾次對話的手感就下結論,準確率會有多高?
連握有權重和 log 的原廠,一開始都分不出真降智和正常波動——你純靠感覺,當然更不行。
重點不在要你懷疑自己的觀察。手感是很好的警報器,卻是很爛的判決書:它適合提醒你「該去量一下了」,不適合直接拿來當「模型壞了」的定論。這整篇要給的,就是從警報走到判決之間,該補上的那幾步。
一句「變笨」,其實塞了四件不一樣的事
把使用者口中的「降智」攤開,至少有四種來源,成因和對策完全不同:
| 類型 | 到底發生什麼 | 誰造成 | 你能做的 |
|---|---|---|---|
| 真回退 | 權重沒動,但外圍的 harness、系統提示或預設參數改了,模型實際變差 | 廠商的工程變更或 bug | 鎖版本、固定推理檔位、跑自己的評測 |
| 基建抖動 | 模型沒變,只是部分請求失敗、超時或被降級處理 | 廠商的基礎設施 | 先看 status 頁、重試、換時段 |
| 你變了 | 模型沒變,是你的期待變高、脈絡塞太長、prompt 習慣或這次任務更難 | 使用者這端 | 用固定考題對照、清理過長的對話 |
| 服務端優化 | 量化、解碼參數、取樣設定的細微差異 | 廠商,多半非惡意 | 難自證,只能靠長期監看 |
四月那次,是第一種——而且是三個「真回退」疊在一起。七月這波 Opus 4.8 的抱怨,目前證據還不足以歸到哪一類,可能是真回退、可能是基建抖動、也可能摻了你這端的變化。而這正是重點:先分類,再反應。看到「變笨」就直接開罵或直接退訂,等於把四種病當成同一種來治。
三個小改動,把 Claude Code 弄笨了六週
四月那份報告值得細看,因為它把「真回退」長什麼樣、需要多小的改動,示範得很清楚。三個兇手都不是動了模型本身:
第一個是推理檔位(reasoning effort)。3 月 4 日,Claude Code 把預設從 high 降到 medium,原因很務實——高檔位太慢,介面會卡。結果模型思考變淺,使用者立刻感覺到「變笨了」。4 月 7 日改回來,之後 Opus 4.7 預設拉到 xhigh。
第二個是快取 bug,也是最陰的一個。3 月 26 日上線的機制,本意是把閒置超過一小時的對話裡的思考歷史清掉、省點延遲;但程式寫錯,變成每一輪都清。模型於是愈聊愈失憶,工具選得愈來愈怪,還因為持續 cache miss 讓額度消耗異常變快——「變笨」和「額度燒超快」兩種抱怨其實同源。4 月 10 日才修掉。
第三個最不起眼:4 月 16 日,有人在系統提示裡加了一句話,要模型「工具呼叫之間的文字控制在 25 字內、最終回覆 100 字內」,目的是壓一下 Opus 4.7 的話癆。就這麼一句,實測讓 Opus 4.6 和 4.7 各掉了約 3%。4 月 20 日撤除。
三個問題到 4 月 20 日全部解決。Anthropic 強調,模型的 API 與推理層自始至終沒受影響——壞的是外圍那層 harness 和提示——並明講「我們從不刻意降智」。真正的教訓在這裡:把一個頂尖模型弄得像變笨,不需要動權重,改幾個預設、寫錯一段快取、塞一句提示就夠了。而這些改動,使用者從外面完全看不到。
Benchmark 明明升了,你卻覺得它變蠢
七月的 Opus 4.8 是個好例子,說明體感有多容易和事實對不上。
一邊,GitHub 上的抱怨很具體:Max effort 開到底,推理還是很差;握不住多個事實;被明白提示了也不先讀引用就搶答;而且時好時壞。這些是真實的使用者回報,強度也不低。但要標清楚——它們目前停在體感層級,Anthropic 還沒針對這波發出四月那種等級的根因確認。把體感直接當成「已證實降智」,會犯和陰謀論同一種錯:跳過舉證。
另一邊,Opus 4.8 上線時公開的 benchmark 其實比前代好,光 SWE-bench Pro 就從 64.3% 升到 69.2%,數學更是大漲。同一個模型,官方分數在升,一部分重度使用者的體感在降。
兩件事可以同時為真。benchmark 測的是它那組題,你在意的是你的 workload,兩者可以背離——你的任務也許正好落在模型不擅長的分布外。更何況你踩到的未必是模型:翻開 status 頁,7 月 8 日 Claude Code 網頁版和 Cowork Remote 有服務降級、7 月 10 日 Opus 4.8 出現錯誤率升高調查、7 月 13 日換 Haiku 4.5。這些是可用性事件——請求失敗、超時、可能被降級路由——和「模型智力回退」是兩回事,但坐在螢幕前的人,體感常常分不出來。
最難承認的一種:變的其實是你這端
四類降智裡,最常發生、也最少人願意算進去的,是使用者自己這端的變化。它沒有官方報告替你背書,但打開你聊天記錄的機率,比真回退高得多。
最典型的是脈絡腐化。一個開了很久的對話,塞進了大量前後矛盾的指令、改了又改的需求、早就過期的檔案內容。模型不是變笨,是被你堆進去的雜訊淹沒了——它認真地把每一條互相打架的舊指令都當回事,於是輸出開始飄。你以為換了顆腦袋,其實只是那顆腦袋在一個爛掉的房間裡工作。這也是為什麼「開一個新對話」常常像瞬間治好降智:你沒換模型,只是清空了房間。
另一個是期待漂移。第一次被 AI 驚豔到的那個瞬間,會悄悄重設你的基準線。三個月前它交出「還行」的東西你會感激,現在同樣水準的輸出,你只覺得「怎麼變這麼廢」。模型可能一格沒動,是你的及格線一路往上爬。還有 prompt 習慣:越信任它,你的指令就寫得越隨便、越省字,把越多前提留在自己腦裡沒講出來——輸入品質降了,輸出品質跟著降,這筆帳很容易記到模型頭上。
這一類最難自證,正因為它照鏡子。但也最好處理:起一個乾淨對話、把這次的要求完整寫一遍、拿你之前滿意的那次輸出並排比一比。很多「今天怎麼變笨了」的驚慌,做完這三件事就散了。
那個「97.6% 掉到 2.4%」,先別急著轉發
覺得「模型變笨」不是新鮮事,2023 年就吵過一輪,那次還留下一個常被引用的數字。
Stanford 和 UC Berkeley 的一份研究量到,GPT-4 判斷質數的準確率,從 2023 年 3 月的 97.6% 崩到 6 月的 2.4%;能直接執行的程式碼比例也從 52% 掉到 10%。數字很聳動,當時瘋傳,「GPT-4 變笨了」幾乎成為定論。
後來的檢視替它降了溫。那個質數大跳水,很大一部分被歸因於輸出格式和評測方式:新版模型傾向先講答案、再解釋,或把程式碼包進 markdown,導致自動評分程式抓不到正確結果,判成「錯」。模型的推理能力沒有真的從神掉到智障,是量測的尺歪了。
這個轉折,比原本的數字更有用。它告訴你一條該內化的紀律:看到驚人的掉幅,先懷疑量測,再懷疑模型。 一份 2024 年跑了超過五十萬次評測的量化研究也指向同個方向——70B、405B 這種大模型做完 8-bit、4-bit 量化,多數 benchmark 掉幅可以忽略,有些任務量化版甚至還略勝;但人主觀上就是傾向覺得全精度版「比較可信、比較連貫」。感知會騙人,而且是有研究撐腰的那種騙。
把感覺變成證據:現在就能做的五件事
分辨清楚之後,回到最實際的問題:下次又覺得「它今天很蠢」,你到底能做什麼?以下五件,都是把手感升級成證據、把不可控變數關掉的動作。
-
建一組自己的迷你考題。 挑 3 到 5 個你最常丟給模型的真實任務,每個都存成一組固定考題:一份固定的輸入,配一份你當初認可的好輸出當標準答案。覺得不對勁時,把這組重跑一遍,拿今天的結果跟當初的標準答案比。這是你的私人評測,也是唯一能穿透 vibe 的東西。連原廠都得靠評測才敢下結論,你更需要。
-
鎖住可控的變數。 明確指定模型版本,別讓它自動飄到某個代號;把推理檔位固定在你要的高度(
high或xhigh),別用會自動幫你選的模式;能關掉的自動路由就關掉。四月的兇手之一就是預設檔位被悄悄調低——你自己指定,就免疫這一類。 -
出事先看 status,再下結論。 罵之前先開 status.claude.com(或你用的模型的狀態頁)。如果正好有錯誤率升高或服務降級,你遇到的多半是基建抖動,重試或換個時段就好,跟模型智力無關。這一步 30 秒,能省掉一整天的錯誤歸因。
-
回報要附可重現的案例。 用產品內的
/feedback、或去 GitHub 開 issue,但關鍵是附上能重跑的輸入和你預期的輸出。四月那次,官方主要的偵測訊號就來自使用者回報。一句「最近好爛」對誰都沒用;一個能重現的案例,才是原廠 ablation 得下去的起點。 -
順手盯一下 token 和成本。 有些 bug 不表現成「變笨」,而是表現成「錢燒特別快」——四月的快取 bug 就同時造成兩者。如果哪天用量或帳單異常跳高,那本身就是一個訊號,值得你把那幾天的對話撈出來看。
這五件事沒有一件需要通靈,全部是把工作流變得可量測、可回溯。
你控制不了廠商,但控制得了自己這端
降智這種事會反覆發生,這幾乎可以當成前提來規劃。原因不神祕:省成本、降延遲的工程壓力一直都在,模型和它的 harness 又是持續在你看不到的地方更新的黑箱。四月不會是最後一次,也不是只有 Anthropic 一家會遇到——這是整個訂閱制 AI 工具的結構性特徵。
你控制不了他們哪天調哪個預設、改哪段提示。但你控制得了自己這端可不可量測:有沒有那組固定考題、有沒有鎖住版本和檔位、出事會不會先看 status。有這幾樣,下次那個「它是不是變笨了」的念頭浮上來時,你不用在群裡跟著喊,也不用賭氣退訂——你打開自己的考題重跑一遍,十分鐘內就有答案。
如果現在只想做一件事:去把你這週最依賴模型的那個任務,存成一組固定考題——一份固定的輸入,配一份你認可的標準答案。這是你未來每一次降智恐慌裡,唯一站得住腳的東西。
LEARN
想系統性學會,不只看這一則?
Claude Code 教學:用終端 AI Agent 完成真正的工作
讓 Claude Code 在你的專案裡完成一個真實任務,而且控得住權限、驗得了 diff、管得住成本。
從第 0 課開始 →SOURCES
- A A postmortem of three recent issues(Anthropic Engineering, 2026-04-23)
- A Claude status(status.claude.com)
- B Anthropic explains Claude Code's recent performance decline after weeks of user backlash(Fortune, 2026-04-24)
- B Anthropic Traces Six Weeks of Claude Code Quality Complaints to Three Overlapping Product Changes(InfoQ, 2026-05)
- B How Is ChatGPT's Behavior Changing over Time?(Chen, Zaharia, Zou, Stanford/UC Berkeley, 2023)
- B We ran over half a million evaluations on quantized LLMs—here's what we found(Red Hat Developers, 2024)
- C [Bug][URGENT] Claude Opus 4.8 reasoning degradation, speed and performance regression(GitHub Issue #68780)
- C Severe Opus 4.8 quality/instruction-following degradation across Claude Code and Cowork(GitHub Issue
來源分級:A = 一手公告/論文/官方文件 · B = 可信媒體 · C = 可參考但需脈絡 · D = 觀察用,不可當事實。
本文由 AI 協助研究與起草,矽基前沿編輯部編修,總編輯廖玄同審閱定稿。 編輯方針與 AI 使用說明