computer use 是什麼？AI 學會自己用電腦

2024 年 10 月 22 日，Anthropic 發布升級版 Claude 3.5 Sonnet，附帶一個當時看起來很奇怪的測試功能：讓模型看螢幕截圖，自己算出按鈕在畫面上的位置，移動游標、點下去、打字。

官方公告同時附上兩件事。一個分數：在衡量真實電腦操作的 OSWorld 基準上拿 14.9%，而人類基準線約 72%。一句自己招認的話：「目前仍屬實驗階段——有時笨拙且容易出錯」（at times cumbersome and error-prone，Anthropic 官方公告原文）。

一家公司發布新能力，同時公開說它又慢又常錯，不太常見。但 18 個月後，這條路線的最好成績已經超過人類基準線，OpenAI、Google 全部下場。這個能力叫 computer use（電腦操作能力），做這件事的系統統稱 GUI agent。

Computer use（電腦操作能力）是讓 AI 模型直接操作圖形介面（GUI）的能力：模型看螢幕截圖、判斷下一步，輸出滑鼠移動、點擊、鍵盤輸入等動作，由程式代為執行，再把新截圖餵回模型，循環到任務完成。它靠視覺理解畫面，操作對象可以是任何有畫面的軟體，軟體端不需要提供 API。Anthropic 在 2024 年 10 月率先讓 Claude 3.5 Sonnet 具備這個能力，OpenAI 與 Google 相繼跟進。

運作方式：截圖進、座標出的迴圈

Computer use 的核心是一個很樸素的迴圈：

1. 程式把當前螢幕截圖傳給模型
2. 模型看圖，決定下一個動作——「點擊座標 (612, 384)」「輸入文字」「往下捲動」
3. 程式代替模型執行這個動作（模型本身碰不到你的滑鼠）
4. 截一張新圖，回到第 1 步

重複幾十次，一個「幫我把這份報價單填進 ERP」的任務就走完了。

它能成立，靠的是多模態（multimodal）視覺能力——模型得從一張圖裡認出哪裡是按鈕、哪裡是輸入框、表單填到第幾欄了。所以 computer use 晚於視覺模型成熟才出現，2024 年 10 月這個時間點沒有偶然。

注意第 3 步：真正動手的是你這端的程式。這跟工具呼叫（tool calling）的權限設計一樣，模型只提出動作，執行權在應用程式端。這也是所有安全護欄能插進來的位置。

跟 tool calling 的邊界：門與萬能鑰匙

軟體要讓 AI 進來做事，有兩條路。

API 像一道門——對方特地鑿好、附上鑰匙（接口文件），進出快、又準，但前提是對方願意開這道門。Computer use 像萬能鑰匙——任何有畫面的軟體都打得開，包括那些 20 年沒更新的 ERP、只有網頁沒有接口的政府系統、純桌面軟體。代價是開得慢，還可能開錯。

	tool calling（API）	computer use（GUI）
前提	對方要提供接口	有畫面就行
速度	一個請求毫秒級	每步截圖＋推理，數秒起跳
準確度	結構化、確定性高	看圖辨位，會點錯、會迷路
成本	一般 token 費用	每步一張影像 token，貴一個量級以上
覆蓋範圍	只有開了門的軟體	理論上所有軟體

MCP 在這張圖裡的位置：它把「門」的規格統一了，讓工具供應商寫一次接口、所有 AI 應用都能接。所以 MCP 生態愈完整，需要動用 computer use 的場景就愈往長尾退——留給那些永遠不會有人幫它寫 MCP server 的老軟體。

兩年時間線：從 14.9 分到超越人類

時間	事件
2024 年 10 月	Anthropic 在 Claude 3.5 Sonnet 首發 computer use 公測，OSWorld 純截圖項目 14.9%
2025 年 1 月	OpenAI 推出 Operator，背後是專訓的 CUA（Computer-Using Agent）模型，OSWorld 38.1%
2025 年 7 月	Operator 能力併入 ChatGPT agent，獨立版下線
2025 年 8 月	Anthropic 開始試點 Claude for Chrome，12 月開放給所有付費訂閱用戶
2025 年 10 月	Google 推出 Gemini 2.5 Computer Use 模型預覽，瀏覽器優先
2026 年 6 月	Google 把 computer use 內建進 Gemini 3.5 Flash、收掉特製模型，自報 OSWorld-Verified 78.4 分

OSWorld 是這條線的計分板：369 個真實電腦任務——改試算表公式、拖檔案、填網頁表單——人類基準線 72.36%。2025 到 2026 年間，多家系統陸續跨過這條線。

時間線裡藏著兩個趨勢。第一，特製模型退場：從「養一顆專門的 computer use 模型」走向「主力模型內建這個能力」，Google 2026 年 6 月收掉獨立模型是最明確的訊號。第二，從研究預覽走向消費產品：能力不再只在 API 文件裡，開始長在瀏覽器上（ChatGPT agent、Claude for Chrome、Gemini in Chrome）。

誠實邊界：分數超過人類，生產環境為什麼還在用 API

把 benchmark 分數直接讀成「可以上線了」，是這個領域最常見的誤判。四個落差：

慢。 一個 20 步的任務要傳 20 張截圖、跑 20 輪推理，幾分鐘起跳。同一件事如果有 API，一個請求毫秒級做完。

貴。 截圖是影像輸入，token 成本遠高於文字。高頻流程用 computer use 跑，帳單會教你重新做人。

錯誤率。 78% 的成功率換個講法：每四、五個任務仍有一個失敗。人類流程失敗可以自己發現重來，agent 點錯了可能已經送出了什麼。這也是為什麼各家都把護欄擺在正中央——敏感動作要人確認、金融網站直接封鎖（Claude for Chrome 的做法）、偵測到 prompt injection 自動停止（Gemini 的做法）。畫面上任何文字都可能是對模型的隱藏指令，這個攻擊面是 API 呼叫沒有的。

基準與真實工作的落差。 OSWorld 任務有明確的起點和終點，真實工作流程模糊、冗長、介面隨時改版。分數衡量的是「做得到嗎」，生產環境問的是「每天做一千次都不出事嗎」。

所以 2026 年的實況是：computer use 能力線在陡峭爬升，但多數生產部署仍然先找 API 或 MCP，把 computer use 留給沒有接口可走的地方。

什麼時候等 computer use，什麼時候直接找 MCP

一組可以直接套用的判斷準則：

1. 對方有 API 或 MCP server——直接用，別碰 computer use。快、便宜、穩定，三個都贏。
2. 高頻、重複、格式固定的流程——值得投資寫正式整合（API 串接），一次成本換長期效率。
3. 沒有接口的長尾軟體、低頻任務、一次性操作——這才是 computer use 的主場：老 ERP、只有網頁的供應商後台、每季才跑一次的報表流程。
4. 不可逆動作（付款、刪除、寄信）——無論走哪條路，都保留人工確認關卡。

想親手感受現況，可以開 Claude for Chrome 或 ChatGPT agent，丟一個「幫我把這頁的表格資料整理成 sheet」之類的任務，看它幾步完成、哪一步卡住。你會同時看到能力的上限和邊界，比讀十篇 benchmark 報告都直觀。

---

帶走三件事。第一，順序：門永遠優先於萬能鑰匙——有 API 先走 API，沒有接口才輪到 computer use。第二，趨勢：這個能力正在從特製模型變成主力模型的內建配備，18 個月內分數從 14.9 爬過人類基準線，能力線還沒走平。

第三，一個未解問題：當愈來愈多 agent 用「人的方式」操作軟體，介面會開始為 agent 而設計嗎？按鈕加上機器可讀的標記、流程為自動化留出直路——那會是 GUI 與 API 這兩條路線開始合流的地方。

資料來源：Anthropic、OpenAI、Google DeepMind、OSWorld、TechCrunch

矽基前沿 · 大百科線（編輯：廖玄同），《computer use 是什麼？AI 學會自己用電腦》，矽基前沿 [Si]gnals，2026-07-05。https://signals.tw/articles/what-is-computer-use/