這 10 篇寫在 ChatGPT 之前的文章,照樣被判 AI 代寫
偵測器量的不是「誰寫的」
作家協會(The Authors Guild)做了一個很簡單的實驗:挑 10 篇 2022 年、也就是生成式 AI 還沒普及以前就發表的人類文章,丟給五款市面上的 AI 偵測器,看它們會不會把「絕對是人寫的」東西判成 AI。其中一款叫 Sidekicker.ai 的工具,10 篇全中——每一篇都被判成 71% 到 100% 的 AI 代寫。
同一批文章,另外兩款工具(Pangram、Originality.ai)幾乎全給 0%,判為人寫;ZeroGPT 則在 5% 到 76% 之間亂跳,連一篇 Joan Didion 的訃聞都被打了 66%。同一份文件,換一款工具就從「人寫的」變成「100% AI」——會變的是工具,不是作者。 這不是新鮮的抱怨。早在 2023 年,史丹佛團隊就用數字把它釘死過一次:7 款偵測器對非母語者的英文作文,平均 61% 判成 AI。
如果你會用英文寫東西、母語又不是英文——投國際期刊、寫留學申請、交英文作業、發英文工作郵件——那這件事跟你直接相關:你正好是最容易被系統冤枉的那群人。這篇先拆給你看偵測器到底在量什麼,再給你被判「AI 代寫」時可以做什麼。
同一批文章,五款偵測器從 0% 判到 100%
作家協會這次測的是「假陽性」——把人類文章餵進去,看有多少被誤標成 AI。結果五款工具幾乎散在光譜的兩端:
| 偵測器 | 對 10 篇人類舊文的判定 |
|---|---|
| Pangram | 幾乎全部 0%,判為人寫 |
| Originality.ai | 近 0%,極少誤判 |
| Grammarly | 只有 2 篇被標 7–9% |
| ZeroGPT | 5%–76% 飄忽,一篇 Joan Didion 訃聞被判 66% |
| Sidekicker.ai | 10 篇全判 71–100% AI |
先講清楚邊界:這是單次、單一批樣本的快照,工具隨時會改版,今天最爛的下個月可能修好、今天準的也可能退步——所以重點不是「哪款最爛」這種採購結論,而是「同一份人類文件,分數可以從 0 跳到 100」這個事實本身。作家協會的結論也很直白:部分消費級工具「極度不準」,出版方絕不該單憑這類工具的指控就取消合約或下架一本書。
偵測器量的是「這段話多好猜」,不是誰寫的
問題出在偵測器根本沒在判斷「作者是不是 AI」,它判斷的是文字的困惑度(perplexity)——這段話有多好預測。
想像你手機打字時上方的選字預測。如果一段話裡幾乎每個字,都剛好是輸入法第一個跳出來的那個字,這段話就「很好猜」、困惑度低;偵測器看到低困惑度,就傾向判它是機器寫的,因為大型語言模型(LLM)產出的文字通常很平順、很好預測。
麻煩在於,LLM 就是讀著大量「乾淨、被編輯過的人類散文」訓練出來的。所以反過來,一個老練的寫手把稿子改得越通順、越精練,成品的統計特徵就越靠近 AI;一個非母語者為了「不要出錯」而寫得規矩、用字保守,困惑度也偏低。寫得越用力、越像範文,越容易撞進誤判區——這是機制決定的,不是某一款工具的 bug。
61% vs 5%:最容易被冤枉的是非母語寫作者
史丹佛 Liang 等人 2023 年發表在《Patterns》期刊的研究,把這個偏差量化了。他們拿 91 篇 TOEFL 作文——全是非母語英語者寫的、沒有用 AI——丟給 7 款當時主流的 GPT 偵測器:平均 61.3% 被判成 AI,其中 18 篇被 7 款一致判為 AI、89 篇至少被判一次。同一批偵測器對母語者的英文作文幾乎全對,誤判率只有大約 5.1%。
61% 對 5%,中間那條線就是「英文是不是你的母語」。原因正是上一段那件事:非母語寫作的用詞與句構變化較少、困惑度較低,被系統當成了 AI 特徵。
這也是為什麼這題對台灣讀者不是隔岸觀火。台灣寫英文的場景——研究生投稿被 reviewer 順手丟進偵測器、留學申請的 essay、大學英文作業、公司對外的英文報告——寫的人多半正是「非母語、又努力想寫對」的那一群。你越把英文寫得工整,越可能收到一個「疑似 AI」的紅字。
反過來說,真想規避的人改寫一下就過了
還有一層不對稱,讓這套機制更站不住腳:它擋不住真正想規避的人。既然偵測器抓的是低困惑度,那麼把 AI 產出的文字拿去改寫、換句法、故意加點不規則,困惑度一升高,被判 AI 的機率就跟著降。
於是結果是顛倒的——真想用 AI 蒙混的人,多花五分鐘改寫就能過關;老實照自己方式寫、尤其寫得規矩的非母語者,反而被抓。一套會放過刻意規避者、卻懲罰照實寫作者的工具,拿它當「有沒有作弊」的判準,方向本身就錯了。
被判 AI 代寫時,先做這幾件事
偵測分數不是證據,是一個「要不要再看一眼」的提示。真被貼上「AI 代寫」標籤時,你可以這樣自保:
- 留下寫作過程的證據:草稿、Google Docs 或 Word 的編輯歷史、查資料的筆記、參考書目。過程紀錄比成品更能證明「這是我一路寫出來的」。
- 問清楚三件事:對方用哪一款偵測器、判定門檻設在幾 %、那款工具自己公布的誤判率是多少。一個連品牌和門檻都說不出來的指控,不該成立。
- 要求人工複核與申訴管道:別接受「機器說你作弊」當定論;請具體的人讀你的文章、看你的證據。
如果你是老師、期刊編輯、或會用這類工具的主管,作家協會的建議可以直接抄:絕不單憑一個偵測器分數,就當掉一份作業、退一篇稿、或取消一紙合約。 把分數當成「值得再確認一下」的參考,而不是判決——這是目前這批工具唯一撐得住的用法。
偵測器可以是提示,不能是判決;在它變準之前,你能做的最實在的一件事,是先把「這是我寫的」的證據留好。
SOURCES
- A GPT detectors are biased against non-native English writers (Patterns, Cell Press)
- A AI-Detectors Biased Against Non-Native English Writers (Stanford HAI)
- B Can AI Detectors Be Trusted? The Authors Guild Put Five of Them to the Test
- B Authors Guild test finds some AI detectors perfectly identify human writing while others fail on every single text (the-decoder)
來源分級:A = 一手公告/論文/官方文件 · B = 可信媒體 · C = 可參考但需脈絡 · D = 觀察用,不可當事實。
本文由 AI 協助研究與起草,矽基前沿編輯部編修,總編輯廖玄同審閱定稿。 編輯方針與 AI 使用說明