合成受眾要像天氣預報一樣驗證

057Ishan Anand（InsightSciences.ai）21:092026-07-29 上架

Persona Engineering: A Field Guide to AI Synthetic Personas — Ishan Anand, InsightSciences.ai

Ishan Anand 用天氣預報比喻 LLM 合成受眾：它們會怎麼失準、有哪些做法可以參考、又該怎麼對照真人資料量測，每一點都以已發表的研究為依據。

這場講了什麼

• 把合成受眾當預報，不是當真人：Ishan Anand 認為它和天氣預報一樣，是運算力與資料增加之後才做得出來，也只在特定範圍內準，超出範圍就會失準。
• 三種常見的失準：提示裡缺脈絡時，LLM 會自己推出隱藏的干擾因素；換選項順序答案就變；預測人說了什麼，比預測人做了什麼容易。
• 三種做法可以參考：直接用提示、用調查資料微調、讓模型輸出一段文字再對照真人寫的範例換算成分數。哪種提示與模型最適合，Ishan Anand 說只能拿真人資料實測。
• 多跑幾次不會更顯著：同樣的輸入重跑一千次，只會讓你更確定模型在說什麼，不會讓預報本身更準。
• 評估看的是分布：要搭配相關係數與描述分布形狀的指標，並估出真人資料自己的雜訊底線。
• 合成與真人研究互補：Ishan Anand 指出，合成受眾的替代方案多半不是真人研究，而是沒有研究、只有某個人的意見。

影片從哪一段開始看14 段

1. 00:13開場與天氣比喻用角色提示操控模型輸出，已經長成一個產業，企業拿合成受訪者測產品概念與訊息。Ishan Anand 用天氣預報貫穿整場。
2. 01:46自我介紹與範圍Ishan Anand 是 InsightSciences 的 chief AI officer，替市場研究團隊建合成受眾。坊間報導多半很淺，這場只講有發表研究支持的技術細節。
3. 02:46為什麼是現在Simulmatics 當年宣稱能模擬並預測選民，結果沒成。現在多了運算力，也多了 LLM 這種以語言為單位的模擬媒介。
4. 03:5283% 的示範約一千人接受約兩個半小時的訪談，再做人格測驗與問卷；訪談內容交給 AI agent 代答同一批問卷，約 83% 與本人一致。
5. 04:47失準一：缺脈絡只給產品、類別、價格的粗糙提示，真人的購買機率隨價格下降，LLM 卻畫出倒 U 形，有一段價格愈高愈想買。原因是它把價格當成保存期限、競品價格等隱藏因素的線索。
6. 07:37失準二：提示敏感同一題只對調選項順序，模型的順序偏誤極強，兩次平均起來變成 50-50。真人也有順序偏誤，但沒這麼嚴重。要測重排、改寫與對抗式質疑。
7. 08:29失準三：說與做預測社會科學實驗時，問卷（態度）比田野實驗（行為）準。建議用態度問題去逼近行為。
8. 09:53做法一：直接提示Argyle 論文用文字補全模型，提示寫「我是個強烈自由派⋯⋯2016 年我投給」。另一項研究比較四種建構方式，描述得愈細，反而愈放大模型裡的偏誤。
9. 11:31做法二：微調以人口屬性加問卷題為模板微調，訓練時沒看過的族群也幾乎同樣進步。後續研究暗示模型本來就懂這些族群，只是不會用問卷格式表達。
10. 13:10做法三：文字換分數不要模型打 1 到 5 分，改請它寫一段話，再跟真人替每個分數寫的範例比語意相似度，得到一個機率分布。
11. 14:57平均對了、細節糊了LLM 常把平均抓對卻丟掉變異。這個做法在分布形狀的相似度上，比直接打分的天真做法好。
12. 15:28重跑不等於顯著傳統市調客戶有時很失望：合成受眾沒辦法拉高統計顯著性。重跑一千次只是更確定模型的輸出，預報不會因此更準。
13. 16:52量測分布與雜訊底線比較的是分布，要搭配相關係數與形狀指標。開頭那個 83% 是拿真人兩週後重測、平均只有 80% 的自我一致性正規化過的；沒辦法重訪，就把真人資料切半、一半當合成，重複成百上千次取平均。
14. 18:31與真人研究互補消費者的決策愈來愈多經過 AI agent，只做真人的研究已經不是黃金標準。多數時候，替代方案是沒有研究，只有某人的意見。

值得記的話5 句

• synthetic personas are different from regular experiments and they're liable to confuse and fool you if you don't know how they fail.合成受眾跟一般實驗不一樣，不知道它們怎麼失準，就很容易被搞混、被騙04:47

• i like to say if it's a poorly grounded persona it's a little like the llm is playing improv with you我常說，沒有把背景交代清楚的受眾，有點像 LLM 在陪你演即興劇07:04

• llms are trained on what people say and they're not trained on what people doLLM 學的是人說了什麼，不是人做了什麼08:29

• your persona that you're looking for is in there.你要找的那個受眾就在模型裡面12:54

• They are not people, they are forecasts and we should treat them accordingly.它們不是人，是預報，應該照預報的方式看待18:31

名詞與人物7 個

synthetic personas

用 LLM 扮演特定人物或族群，當作受訪者來測產品概念與訊息

Simulmatics

當年宣稱能用統計與電腦算力模擬、預測選民的公司，Ishan Anand 拿它提醒大家對這類說法保持謙虛

InsightSciences

Ishan Anand 任職的公司，替市場研究團隊建構 LLM 合成受眾

Argyle paper

這個領域的開創性論文，用文字補全模型以「我是⋯⋯」的自述提示模擬選民

willingness to pay

受訪者願不願意買、願意付多少，價格實驗與文字換分數兩個例子測的都是它

noise floor（雜訊底線）

真人資料自己的不一致程度，等於模型準確度的上限

generative agent-based modeling

讓多個合成受眾彼此互動、模擬群體動態，Ishan Anand 認為是最令人期待的方向之一

提到但沒有展開

• 想知道健身房的出席率，Ishan Anand 建議與其直接問去不去，不如也問對運動的態度，看能不能當成代理指標。
• 那項預測社會科學實驗的研究，原本要說的是 LLM 的準度跟專家差不多；Ishan Anand 借它來看問卷題與田野實驗的落差。
• 問卷做完兩個月才冒出一個當初沒問的問題，通常只能靠某人推測；Ishan Anand 認為專家加上合成受眾會比較好。

研究評估產業觀察

在 YouTube 看原片 ↗