第 2 站 · 搭 harness該站第 12 / 12 場
小模型撐起即時語音家教
Your Voice Agent Doesn't Need a Frontier Model - Joel Allou & Ornella Bahidika, Microsoft
把規劃與判斷都搬出語音模型之外，讓小模型也能在毫秒內開口，撐起一場即時語音家教。
重點摘要
- 刻意選小模型：Joel 與 Ornella 建了 ACE，一個即時語音 AI 家教，刻意讓小模型撐起對話，主張這不是妥協。
- 延遲是唯一預算：語音互動一旦停頓超過一秒，使用者就會覺得系統掛了，反應速度比模型聰明與否更重要。
- 把推理搬出模型：規劃下一步、追蹤學生狀態這類重活交給外部系統處理，模型只負責「講話」這件事。
- state machine 扛下所有邏輯：涵蓋各種教學情境、協調每一步該做什麼，也負責推算學生的 mastery，模型只需把結果講出來。
- 示範對比：同一個問題，沒優化時 Opus 4.7 要思考數秒，加上 scaffolding 之後換成 Haiku 4.5，大約九百毫秒就能回答。
- 代價是 scaffolding：小模型沒有嚴格規則容易在長流程裡跑偏，但這筆成本寫進程式碼一次就好，不必每輪都付。
時間軸9 段
| 00:00 | 開場亮相 | Ornella 與 Joel 介紹 ACE，主張刻意用小模型撐語音家教並非妥協。 |
| 00:19 | 語音延遲的代價 | 語音互動一旦停頓超過一秒，使用者就會覺得系統掛了。 |
| 00:51 | 毫秒門檻 | 目標壓在九百五十毫秒內開口，頂尖模型想滿一秒就已經跟不上。 |
| 01:06 | 搬走判斷工作 | 學生狀態的追蹤與下一步規劃都交給外部系統，模型只負責開口說話。 |
| 01:40 | 推理耗時的代價 | Joel 補充：頂尖模型推理能力強，但推理要花上幾秒，這在語音應用裡代價太高。 |
| 02:12 | 把思考搬進 state machine | 所有判斷都寫進 state machine，涵蓋課程情境並算出學生的 mastery，模型只需開口回答。 |
| 03:27 | 實機示範對比 | 同一題目，沒優化的 Opus 4.7 要想好幾秒，接上 scaffolding 的 Haiku 4.5 大約九百毫秒就回答。 |
| 04:18 | 代價是 scaffolding | 小模型沒有嚴格規則容易在長流程裡跑偏，但這筆成本寫進程式碼一次就好，不必每輪都付。 |
| 05:11 | 結論 | 不管是語音、即時或高流量應用，模型都只是整個系統裡最小的一塊。 |
值得記的話4 句
A frontier model that think for a full second has already lost the room.
頂尖模型如果要想滿一整秒，注意力早就跑掉了00:51The answer comes in about 900 milliseconds.
答案大約九百毫秒就出來了03:27This isn't necessarily free. It has a cost.
這不是沒有代價的，是要付出成本的04:18The model is the smallest part of the system.
模型只是整套系統裡最小的一塊05:29
名詞與人物8 個
- ACE
- 講者建的即時語音 AI 家教產品，這場的示範主體。
- Joel Allou（Microsoft）
- 這場講者之一，負責示範 ACE 的技術實作與效果對比。
- Ornella Bahidika（Microsoft）
- 這場講者之一，說明 ACE 刻意選用小模型的理由。
- state machine
- 把教學情境的判斷與流程規劃寫進程式，取代模型即時推理的做法。
- scaffolding
- 為小模型寫進程式碼的規則與流程，讓它不必自己判斷也能穩定輸出。
- Claude 4.7
- 講者提到的 Anthropic 頂尖模型，用來說明為什麼直接拿它做語音家教會太慢。
- Opus 4.7
- 示範對比中作為未優化基準的模型，回答一個問題要思考數秒。
- Haiku 4.5
- 示範對比中換上的小型模型，搭配 state machine 後大約九百毫秒就能開口回答。
提到但沒有展開
- ACE 教的科目與實際使用場景，這場沒有進一步說明。
- 系統如何推算學生的 mastery，這場只提到有這個機制，沒有拆解演算方式。
- state machine 具體涵蓋哪些教學情境、怎麼設計，這場只講原則，沒有展開細節。