RLVR 是什麼？可驗證獎勵讓 AI 學會推理

2025 年 1 月，DeepSeek 發表 R1，論文裡附了一個更激進的實驗版本：R1-Zero。

這個模型沒有做監督微調（supervised fine-tuning，SFT），也沒有拿任何人工標註的推理範例。訓練訊號只有兩條規則：最終答案對不對、思考過程有沒有照格式包在 <think> 標籤裡。就這樣讓模型在數學和程式題上自己刷題，AIME 2024 數學競賽的單次答對率（pass@1）從 15.6% 一路爬到 71.0%，多數決投票後 86.7%。

過程中沒有人教它「先驗算一次再回答」。自我反思、檢查邊界條件、換方法重試，這些行為是模型為了拿到獎勵自己長出來的。DeepSeek 在論文摘要裡寫得很直接：推理能力可以用「純強化學習」培養，「不需要人工標註的推理軌跡」。

這套方法有個名字：RLVR。

可驗證獎勵強化學習（Reinforcement Learning with Verifiable Rewards，RLVR）是一種 LLM 訓練方法：讓模型大量回答有標準答案的題目，用程式自動判定對錯——數學答案比對、程式碼跑測試——答對給獎勵、答錯零分，再用強化學習更新模型。它把 RLHF 裡「用人類偏好訓練出來的評分模型」換成一個確定性的驗證函式。2024 年 11 月 Ai2 的 Tülu 3 論文定名，2025 年 DeepSeek-R1 用它出圈，如今是 reasoning model 背後公認的核心訓練引擎。

用一個比喻貫穿本篇：RLHF 像請家教改作文，RLVR 像題本最後面的解答頁。家教會累、有口味、還可能被你討好；解答頁不會——對就是對，錯就是錯，而且你可以自己刷一萬題，不用等任何人有空。

名字是 Tülu 3 取的，出圈靠 DeepSeek-R1

2024 年 9 月 OpenAI 發表 o1，reasoning model 時代開場，但訓練方法沒有公開，外界只知道「用了大規模 RL」。

兩個月後，2024 年 11 月，Ai2（Allen Institute for AI）發表開源後訓練配方 Tülu 3（Lambert 等人），在論文裡正式提出 RLVR 這個詞。做法刻意簡單：沿用 RLHF 的訓練目標，但把 reward model 換成一個驗證函式——模型的回答經程式驗證為正確就給獎勵，否則零分，再用 PPO（RLHF 常用的 RL 演算法）更新模型。當時用在數學解題（GSM8K）和精確指令跟隨這類可以機器判分的任務上，效果是對應 benchmark 的定向提升。

真正讓 RLVR 出圈的是 2025 年 1 月的 DeepSeek-R1。R1-Zero 把配方推到極端：不做 SFT、純 RL，獎勵只有「答案對錯」加「格式合規」兩條規則。一個關鍵設計是 DeepSeek 刻意避開神經網路 reward model（用另一個模型幫回答打分的做法），論文給的理由是大規模 RL 下評分模型容易被鑽漏洞。規則驗證器沒有神經網路的「印象分」可以討好，模型只能老老實實把題目做對。

這篇論文後來在 2025 年 9 月通過同儕審查、登上 Nature 封面，成為第一個經同儕審查發表的主流 LLM——Nature 版本裡 R1-Zero 的 AIME pass@1 數字更新到 77.9%。從那之後，「在可驗證任務上做大規模 RL」成了各家 reasoning model 訓練說明裡的標配段落。

RLHF 對照 RLVR：獎勵從哪來，天花板就在哪

先補一句背景。人類回饋強化學習（Reinforcement Learning from Human Feedback，RLHF）是 ChatGPT 世代的主力訓練法：收集人類偏好（兩個回答選一個比較好的），訓練一個 reward model 模仿人類打分，再讓模型往高分方向優化。

兩者的差異可以整理成一張表：

	RLHF	RLVR
獎勵來源	人類偏好資料訓練出的 reward model（神經網路打分）	規則驗證器（答案比對、跑測試、格式檢查）
適用任務	對話品質、風格、安全、主觀好壞	數學、程式碼、邏輯——有標準答案的任務
訊號品質	有雜訊、有偏好、可被討好	乾淨、便宜、可無限量自動生成
天花板	上限是 reward model 學到的人類偏好，且容易被 hack	只涵蓋寫得出驗證器的領域

RLHF 教會模型說人話、看起來有幫助；RLVR 教會模型把有答案的題目做對。兩者在 2026 年是疊加關係——旗艦模型通常先靠 RLVR 練推理，再用偏好訓練顧對話品質與安全，一個管智商、一個管情商。

誠實邊界：驗證器管不到的地方

RLVR 的賣點是獎勵訊號乾淨，但它有三個要誠實講的邊界。

第一，reward hacking 變小了，沒有消失。 換掉 reward model 堵住了「討好評分模型」這條路，但規則驗證器自己也能被鑽：答案抽取寫得鬆，模型就學會猜格式賭運氣；程式題的測試不夠全，模型就學會只把測試案例寫死過關。驗證器的嚴謹程度直接決定訓練品質，這是工程活，不是免費午餐。

第二，只在可驗證域有效。 寫作好不好、策略對不對、對話貼不貼心，寫不出判定對錯的程式。所以 RLVR 帶來的能力提升集中在數學、程式、邏輯——這也解釋了為什麼 2025 到 2026 年模型在 coding 和數學 benchmark 上進步飛快，主觀任務的進步慢得多。

第三，提升的是命中率，還是能力上限？ 2025 年 4 月一篇研究《Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?》給了目前最有名的質疑：RLVR 模型在 pass@1（採樣一次的答對率）確實贏 base model，但允許採樣夠多次（pass@k 的 k 拉大）之後，base model 反超，這個模式在不同模型大小、演算法、任務域都成立。作者的解讀是：RLVR 模型走出來的推理路徑，原本就在 base model 的採樣分布裡；現行 RLVR 提高的是命中正確路徑的效率，同時縮窄了探索範圍。這跟 benchmark 過擬合是同一件事的兩面——刷可驗證題庫拉高單次命中率，分數進步有一部分是「更會考試」，未必是會了新東西。

這條質疑還在辯論中（後續也有研究主張課程設計可以突破 base model 上限），但它劃出一條有用的認知底線：看到「推理能力大增」的發布文，先問增在哪個域、用什麼指標量的。

把「對答案」推向沒有答案的任務

RLVR 圈內 2025 年下半到 2026 年最熱的一條線，是把它推向寫不出驗證器的任務。主流答案是 rubric 獎勵（rubric-based rewards）：驗證器寫不出來的地方，就把「好」拆成一條條可勾選的標準。

代表作是 Scale AI 2025 年 7 月的《Rubrics as Rewards》：每道題附一份結構化評分表——醫療問答的 rubric 可能是「有沒有提醒就醫時機」「劑量資訊是否正確」——讓 LLM 評審逐條打勾，以通過比例當獎勵訊號做 RL。在 HealthBench 醫療問答上，這比讓 LLM 評審直接打 Likert 總分的做法最多好 28%。之後這條線快速展開：Meta 用 rubric 做指令跟隨的訓練與評測，2026 年上半年一批論文在做 rubric 自動生成、rubric 與評審模型共同訓練。

這裡要保持清醒：rubric 獎勵的裁判仍然是 LLM，它把「被討好的空間」從一個總分壓縮到一條條具體標準，縮小了 reward hacking 的面積，但沒有歸零。可驗證域那種「對就是對」的乾淨訊號，在主觀任務上目前沒有等價物。

一個你可以帶走的判斷準則

把這篇濃縮成一個實用問題：「我能不能寫一個程式，自動判斷 AI 做對了沒？」

• 能——有測試的程式碼、有標準答案的計算、有 schema 的資料抽取。這類任務正好在 RLVR 的射程內，模型會持續快速變強。
• 不能——品味、策略、長篇寫作。進步要靠 rubric 和人評，又慢又貴。

這個準則一次回答兩件事。往外看，它預測哪類工作 AI 先變強：可驗證的先變強。往內看，如果你在接 AI 進自己的 workflow，幫任務補上驗證層——測試、schema、驗收 checklist——就是在幫 AI 把你的任務變成「可驗證域」，這是 2026 年讓 agent 穩定產出最划算的一筆投資。

資料來源：Ai2 Tülu 3 論文與技術部落格、DeepSeek-R1 論文（arXiv 2501.12948）、Nature 新聞報導、Yue 等人 arXiv 2504.13837、Scale AI Rubrics as Rewards 論文

矽基前沿 · 大百科線（編輯：廖玄同），《RLVR 是什麼？可驗證獎勵讓 AI 學會推理》，矽基前沿 [Si]gnals，2026-07-05。https://signals.tw/articles/what-is-rlvr/