043 · 打造能辨別、不照准的系統
Duolingo 工程師以偽造作弊訊號的實驗，揭露審核員照准 AI 判斷的自動化偏誤，並提出改善介面設計的具體原則。
原標題：Build AI Systems for Discernment, Not Approval - Angel Ortmann Lee, Duolingo
重點摘要
- 信任提高、戒心下降GPS 導航、搜尋引擎摘要等例子顯示，AI 越融入日常生活，人們對它的信任就越高、警覺卻越低。Wharton 的研究更發現，就算 AI 給的答案是錯的，仍有八成受試者選擇照單全收。
- 假警示揭露自動化偏誤Duolingo 針對英語測驗的作弊偵測做實驗，把完全沒問題的測驗場次偽裝成有可疑訊號，結果審核員平時準確率逾九成，卻接受了五成的假警示，暴露出明顯的自動化偏誤。
- 修正介面比修模型有效團隊確認問題不在模型（誤判率僅 1%）也不在審核員，而是審核流程本身。只把指引文字改成「AI 訊號只是初步提示、需要獨立佐證」，拒絕率就從五成的基準再提升 21 個百分點。
- 互動是循環不是單向人機互動不該被當成「模型給結果、人核准」的單向流程，而是會回饋成訓練資料的循環。結構化的互動才能持續產出高品質資料，形成正向循環；反之則會讓審核淪為蓋章。
- 細節設計決定資料品質從耳機偵測拆成兩道問題、寫作反饋改成逐段標註，到 coding agent 該像會先規劃的 junior developer，這些案例都顯示，介面上的小改動能讓人類真正做出獨立判斷，而不是照單全收。
時間軸
時碼點下去會跳到影片的那一段。
| 時碼 | 段落 | 重點 |
|---|---|---|
| 00:00 | 開場立題 | Angel Ortmann Lee（Duolingo）開場，主張要打造促成獨立判斷、而非照准的人機協作系統。 |
| 00:17 | 定義人機協作 | 說明 human-in-the-loop AI 是讓人類負責準確、安全、倫理把關的架構，但目前多半只是「模型給結果、人核准」的線性流程。 |
| 02:05 | Wharton 研究結果 | Wharton 研究發現，AI 答對時人類表現提升 25 個百分點、答錯時卻拖累 15 個百分點，且八成受試者會接受錯誤答案。 |
| 03:31 | DET 研究背景 | 介紹 Duolingo English Test 這項高風險的線上英語測驗，並說明團隊因此發表《When Machines Mislead》研究。 |
| 04:40 | 假訊號實驗設計 | 把完全沒有作弊的合法測驗場次偽裝成帶有 copy typing 警示，混入審核員的日常工作流程中測試。 |
| 06:21 | 自動化偏誤現形 | 審核員平時校準準確率逾九成，卻接受了五成的假警示，顯示明顯的自動化偏誤。 |
| 07:30 | 排除模型與人的因素 | 確認問題不在模型（誤判率僅 1%）也不在審核員（經驗豐富），真正問題出在審核介面與流程設計。 |
| 08:03 | 只改指引文字 | 把審核指引改成明確要求「AI 訊號只是初步提示、需有獨立佐證才能維持標記」，讓拒絕率從五成的基準再提升 21 個百分點。 |
| 09:23 | 循環而非線性 | 主張人機互動其實是循環而非線性，結構化的互動才能持續產出高品質的訓練資料，形成正向循環。 |
| 11:56 | 案例：耳機偵測 | 把單一是非題拆成「偵測是否正確」與「是否構成違規」兩題，避免誤傷配戴助聽器的考生。 |
| 15:35 | 寫作與 coding agent 案例 | 比較整段文字反饋與逐段標註反饋、巨大 diff 與漸進式規劃，主張理想的 coding agent 該像會先規劃、說明假設的 junior developer。 |
| 23:21 | 設計原則總結 | 收斂出把人定位為偵探而非核准者、讓摩擦對應風險高低、捕捉被修改的差異、從一開始就設計評估方式等原則。 |
值得記的話
名詞與人物
| Duolingo English Test（DET） | Duolingo 推出的線上英語能力測驗，全程遠端監考，供全球約 6000 個機構採用作為入學或簽證依據 |
|---|---|
| copy typing | 一種作弊型態，考生在測驗中直接抄打眼前看到的文字，而非當下自己構思作答 |
| automation bias | 人類過度信任自動化系統判斷、因而放棄自己獨立查證與思考的傾向 |
| When Machines Mislead | Duolingo 團隊針對 AI 訊號如何影響人類審核判斷所發表的研究報告 |
| rubber stamping | 審核者不加查證、直接照准 AI 給出的結果，等於形同虛設的審查 |
延伸
- 講者提到 DET 還有身分驗證、鎖定式測驗環境等安全機制，但這場沒有進一步展開技術細節。
- Wharton 那份關於 AI 如何重塑人類推理的研究，這場只提到機構名稱，沒有講到研究方法或論文出處。
- 講者提到這些結構化資料未來也能用在「下一代模型」或其他產品上，但沒有說明會是哪些產品。