AI Engineer Europe 2026 · 演講 · 2026-04-08 · 23 分
客服通話變成結構化資料的四階段管線
Contact Center Voice AI: Low-Latency Intelligence Extraction from Messy Audio Streams · Dippu Singh
Dippu Singh 拆解客服中心的語音管線：從雜亂的雙聲道通話到 CRM 可用的 JSON，把通話後整理時間從 6.3 分鐘壓到 3.1 分鐘，也講了還沒解決的限制。
概要
- 問題出在通話後的文書工作Dippu 說客服人員的壓力與流動率是結構性問題，而通話後作業（ACW）平均要花將近 6.3 分鐘，通話本身約 6.5 分鐘，幾乎是一比一。結論是不能只靠多請人，要把壓力從流程裡設計掉。
- 四階段低延遲管線語音擷取、語音轉文字、生成式 AI 核心、客戶資料同步，每一段各有自己的處理重點，目標是盡量不需要人工介入。
- 前端處理決定摘要品質Dippu 強調輸入品質不好，LLM 之後就會出現幻覺。做法包括降噪、音量正規化、把立體聲拆開讓客服與客戶各佔一個聲道，以及在資料進到 LLM 之前先遮蔽個資。
- LLM 不是直接丟逐段文字就好用 prompt 範本與 few-shot 範例讓輸出分成客戶詢問與客服動作兩份清單，另有判斷來電原因的推理層，以及控制 token 與檢查幻覺的信任層。
- 人還是要確認AI 產生的摘要會自動填進客服畫面，客服快速檢查、小幅修改後按確認，才寫進 CRM 並進入後續的數據分析。
- 成效與限制並陳ACW 從 6.3 分鐘降到 3.1 分鐘，Dippu 說以 500 個席位計算節省相當可觀；限制則是語音轉文字的準確度、token 成本、個資合規帶來的額外延遲。路線圖分三階段：客服教練、預測人力排班、偵測客戶辱罵。
原話
▶ 04:50“We have to fundamentally engineer the stress out of the workflow.”
得從根本上把壓力從工作流程裡設計掉
▶ 08:04“In AI, the typical rule is garbage in equals garbage out.”
AI 的通則是垃圾進、垃圾出
▶ 11:23“we are not just throwing a raw transcript at LLM.”
不是把原始文字稿直接丟給 LLM
▶ 13:26“So we don't remove the human entirely in this.”
所以這個流程裡我們沒有把人完全拿掉
▶ 15:26“this strict formatting is what turns an unstructured conversation into a database ready asset”
這種嚴格的格式，讓非結構化的對話變成資料庫可用的資產
延伸
- Dippu 提到導入後的人力節省，只說「相當於省下數十個全職人力」，沒有給出實際人數或成本數字。
- 辱罵偵測是路線圖第三階段，Dippu 說正在開發低延遲的情緒與聲學分析，沒有說明目前進度。
章節
點時碼直接跳到原片的那一段。
- 開場與主題Dippu 自我介紹，說明要談的是客服中心裡雜亂、重疊、帶情緒的多聲道語音，如何即時變成結構化的商業資訊。
- 客服中心的壓力Dippu 引用產業數據，說超過 50% 的客服中心把招募、訓練與生產力視為最大障礙，人手不足、壓力、離職形成惡性循環。
- 通話後作業的負擔平均通話約 6.5 分鐘，通話後整理要將近 6.3 分鐘，而且摘要品質取決於個人記憶與文筆；他們的目標是把這段時間砍掉一半以上。
- 四階段管線總覽把通話音訊經過語音擷取、語音轉文字、生成式 AI 核心、客戶資料同步，轉成結構化資訊。
- 語音擷取做降噪與音量正規化，立體聲拆成客服與客戶兩個聲道以免 AI 分不清誰說了什麼，並在早期遮蔽信用卡號、密碼等個資。
- 語音轉文字他們發現準確度必須高於 90%，並用領域詞典區分近音詞，再把「$5,000」這類說法轉成數字格式，讓後面抽取實體更準。
- 生成式 AI 核心以 prompt 範本和 few-shot 範例產生分項摘要，推理層從預先定義的來電原因清單做分類並說明理由，信任層做 token 最佳化與幻覺檢查。
- 同步 CRM 與人工確認API 閘道把 LLM 的 JSON 對應到公司 CRM 欄位，客服在畫面上快速檢查後按確認，資料再進入管理儀表板並標出可新增的 FAQ。
- 資料流程與 JSON 輸出因為前面拆了聲道，可以把對話按說話者接回去；LLM 再抽取帳號、產品、客戶名稱，做情緒與意圖判斷，最後輸出固定格式的 JSON。
- 導入成效ACW 從 6.3 分鐘降到 3.1 分鐘，筆記品質與來電原因標記變得一致，也降低客服的認知負擔。
- 三項限制語音轉文字遇到重口音或音質差就會拖垮摘要，長通話的推理成本偏高，個資遮蔽又增加層數與延遲。
- 三階段路線圖第一階段做客服教練，第二階段用意圖資料預測來電量與排班，第三階段偵測客戶辱罵，通知主管或轉給 AI 語音客服。
- 結語Dippu 把這套做法定位成讓客服中心既有效率、又能保護員工的資訊來源。
名詞
- ACW
- After Call Work，通話後作業，指客服人員打字記錄、摘要並選擇處理代碼的時間
- STT
- Speech-to-Text，語音轉文字，Dippu 說其準確度必須高於 90%，LLM 摘要才站得住
- PII masking
- 在資料進入 LLM 前先遮蔽信用卡號、密碼等個資
- inverse text normalization
- 把口說的金額等內容轉成數字格式，例如 $5,000
- Few-shot library
- 用幾個範例讓 LLM 把摘要拆成客戶詢問與客服動作兩份清單
- Schema mapper
- Dippu 對 API 閘道的說法，負責把 LLM 的 JSON 欄位對應到 CRM 系統
- Fujitsu North America
- Dippu 任職的公司，在那裡主導新興資料技術與 AI 架構的計畫
