打造能辨別、不照准的系統

043Angel Ortmann Lee（Duolingo）25:532026-07-07

Build AI Systems for Discernment, Not Approval - Angel Ortmann Lee, Duolingo

Duolingo 工程師以偽造作弊訊號的實驗，揭露審核員照准 AI 判斷的自動化偏誤，並提出改善介面設計的具體原則。

重點摘要

信任提高、戒心下降：GPS 導航、搜尋引擎摘要等例子顯示，AI 越融入日常生活，人們對它的信任就越高、警覺卻越低。Wharton 的研究更發現，就算 AI 給的答案是錯的，仍有八成受試者選擇照單全收。
假警示揭露自動化偏誤：Duolingo 針對英語測驗的作弊偵測做實驗，把完全沒問題的測驗場次偽裝成有可疑訊號，結果審核員平時準確率逾九成，卻接受了五成的假警示，暴露出明顯的自動化偏誤。
修正介面比修模型有效：團隊確認問題不在模型（誤判率僅 1%）也不在審核員，而是審核流程本身。只把指引文字改成「AI 訊號只是初步提示、需要獨立佐證」，拒絕率就從五成的基準再提升 21 個百分點。
互動是循環不是單向：人機互動不該被當成「模型給結果、人核准」的單向流程，而是會回饋成訓練資料的循環。結構化的互動才能持續產出高品質資料，形成正向循環；反之則會讓審核淪為蓋章。
細節設計決定資料品質：從耳機偵測拆成兩道問題、寫作反饋改成逐段標註，到 coding agent 該像會先規劃的 junior developer，這些案例都顯示，介面上的小改動能讓人類真正做出獨立判斷，而不是照單全收。

時間軸12 段

00:00	開場立題	Angel Ortmann Lee（Duolingo）開場，主張要打造促成獨立判斷、而非照准的人機協作系統。
00:17	定義人機協作	說明 human-in-the-loop AI 是讓人類負責準確、安全、倫理把關的架構，但目前多半只是「模型給結果、人核准」的線性流程。
02:05	Wharton 研究結果	Wharton 研究發現，AI 答對時人類表現提升 25 個百分點、答錯時卻拖累 15 個百分點，且八成受試者會接受錯誤答案。
03:31	DET 研究背景	介紹 Duolingo English Test 這項高風險的線上英語測驗，並說明團隊因此發表《When Machines Mislead》研究。
04:40	假訊號實驗設計	把完全沒有作弊的合法測驗場次偽裝成帶有 copy typing 警示，混入審核員的日常工作流程中測試。
06:21	自動化偏誤現形	審核員平時校準準確率逾九成，卻接受了五成的假警示，顯示明顯的自動化偏誤。
07:30	排除模型與人的因素	確認問題不在模型（誤判率僅 1%）也不在審核員（經驗豐富），真正問題出在審核介面與流程設計。
08:03	只改指引文字	把審核指引改成明確要求「AI 訊號只是初步提示、需有獨立佐證才能維持標記」，讓拒絕率從五成的基準再提升 21 個百分點。
09:23	循環而非線性	主張人機互動其實是循環而非線性，結構化的互動才能持續產出高品質的訓練資料，形成正向循環。
11:56	案例：耳機偵測	把單一是非題拆成「偵測是否正確」與「是否構成違規」兩題，避免誤傷配戴助聽器的考生。
15:35	寫作與 coding agent 案例	比較整段文字反饋與逐段標註反饋、巨大 diff 與漸進式規劃，主張理想的 coding agent 該像會先規劃、說明假設的 junior developer。
23:21	設計原則總結	收斂出把人定位為偵探而非核准者、讓摩擦對應風險高低、捕捉被修改的差異、從一開始就設計評估方式等原則。

值得記的話5 句

Most interestingly, they saw that 80% of participants were accepting those AI answers even when it was wrong.最有趣的是，即使 AI 給的答案是錯的，仍有八成受試者選擇接受03:12
when they're making that decision they must find independent evidence in the video footage before upholding a flag.審核員做決定時，必須先在影片畫面中找到獨立佐證，才能維持這個標記08:03
your model is making confident calls, and because your interface is not actually eliciting that deliberation from a human, they just end up rubber stamping it.模型給出自信的判斷，但介面沒有真正引導人類深思，人就只會蓋章通過11:06
Anything that went wrong is your responsibility to then identify, fix, reprompt, or do manually.出錯的地方，全都要由你自己找出來、修正、重新下指令，或親自動手處理16:40
Sometimes the fix is not a better model or more oversight. It's just engineering the interaction itself.有時候解方不是更好的模型或更多監督，而是把互動本身設計好25:41

名詞與人物5 個

Duolingo English Test（DET）: Duolingo 推出的線上英語能力測驗，全程遠端監考，供全球約 6000 個機構採用作為入學或簽證依據
copy typing: 一種作弊型態，考生在測驗中直接抄打眼前看到的文字，而非當下自己構思作答
automation bias: 人類過度信任自動化系統判斷、因而放棄自己獨立查證與思考的傾向
When Machines Mislead: Duolingo 團隊針對 AI 訊號如何影響人類審核判斷所發表的研究報告
rubber stamping: 審核者不加查證、直接照准 AI 給出的結果，等於形同虛設的審查

提到但沒有展開

講者提到 DET 還有身分驗證、鎖定式測驗環境等安全機制，但這場沒有進一步展開技術細節。
Wharton 那份關於 AI 如何重塑人類推理的研究，這場只提到機構名稱，沒有講到研究方法或論文出處。
講者提到這些結構化資料未來也能用在「下一代模型」或其他產品上，但沒有說明會是哪些產品。

Agent開發工具評估產業觀察

在 YouTube 看原片 ↗