大百科

Inference 是什麼:訓練之後,AI 真正開始工作

Inference(推論)是已訓練模型接收新輸入、產生預測或輸出的執行階段。這篇拆解 inference 跟 training、fine-tuning、serving 的差別,LLM 推論為什麼分成 prefill / decode,以及 latency、throughput、成本如何決定 AI 產品體驗。