現成 LLM 為何不懂錢

062Udi Menkes（Intuit）19:502026-07-29 上架

Why Off-the-Shelf AI Doesn't Understand Money — Udi Menkes, Intuit

Intuit 的 Udi Menkes 用幾個小生意的實例說明，通用大模型給的理財建議聽起來合理卻可能害人，改用真實結果訓練的模型才站得住腳。

這場講了什麼

• 流暢的唬爛：Udi Menkes 把前沿模型在金錢問題上自信又流暢、卻可能傷害生意的回答稱為 fluent bluff，成因是它們學的是網路上的文章與建議，不是實際發生過的結果。
• 同一份資料，建議相反：面對「怎麼提高利潤」，前沿模型建議虧損中的房東再買第二間出租房，另一個以真實結果為基礎的模型建議在續約前把現有房客租金調高 5% 到 10%。
• Princeton 的模擬研究：模型拿到工具與資料，要在 500 天的模擬裡經營公司，每個模型起始資金一百萬美元，多數把公司做到破產，一套簡單的規則系統卻勝過幾乎所有模型。
• 經驗要靠因果來量：漲價後變賺錢的公司，可能本來就比較會做生意，所以 Udi 用 CATE（conditional average treatment effect）扣掉這種偏差，量出一個動作的實際影響；另外從 Intuit 的資料建出數百萬筆「狀態、動作、結果」來訓練自己的模型。
• 分工與護城河：前沿模型負責產生建議的候選，用強化學習訓練的模型負責判斷哪個是對的一步；Udi 認為護城河是手上的資料，不是能不能用到某個模型。
• 結果導向的 AI：Udi 認為各領域的贏家會是擁有最好 system of record、能做出獨特資料集並訓練模型去達成結果的團隊。

影片從哪一段開始看14 段

1. 00:12女兒的金錢理論三歲女兒聽到車被刮傷，說「再買一台就好」；Udi 接著請現場舉手，問有誰拿 LLM 問過理財建議、又真的照做。
2. 01:28自己的投資實驗Udi 把財務資料與最新模型都用上，問該投資房地產還是股票；只改一個假設，答案就翻成相反，再改一點又翻回來，結論是聽起來合理但不能信。
3. 02:32出租房的例子在 Intuit 對上千家企業、約 100,000 個情境的研究裡，前沿模型要虧損的房東再買一間；以真實結果為基礎的模型則建議續約前調漲租金。
4. 04:10蛋商的例子單一客戶占營收 70%、單一供應商占幾乎全部成本；前沿模型建議對那位客戶漲價 15% 到 20%，另一個模型改去和供應商談降價 5% 到 10%。
5. 05:08fluent bluff 與建議偏向模型學的是人們寫過的金錢文章；在上述資料裡，前沿模型建議的核心有 40% 是開發新客戶，另有 14% 是提高產品收入。
6. 06:36Princeton 的 500 天模擬模型各拿一百萬美元起始資金，多數在 500 天內破產；簡單規則系統勝過幾乎所有模型，少數賺錢的模型重跑後也破產。
7. 07:58讀過與看過的差別即使把 QuickBooks 的總帳、損益表等整家公司資料交給前沿模型，仍只是這家公司的一組資料點。Udi 接著自我介紹：在 AI 與金融領域 15 年，現在是 Intuit 的 principal product manager，每天想的是「我們手上有什麼，是任何模型都複製不了的」。
8. 09:29角度一：脈絡不是經驗服飾公司 80% 成本來自一家供應商，砍掉它卻會失去 97% 營收；Udi 以資深顧問對上只讀過教科書的顧問為比喻。
9. 10:50經驗很難量以餐廳漲價為例，取漲價傾向相同的兩組相似公司，漲價組日獲利增加 4,200 美元、沒漲的增加 2,800 美元，修正後漲價的實際影響約 1,150 美元（示意數字）。
10. 12:45前沿模型與自家模型的分工找出資料裡跨實體的大量情境與可驗證的結果；前沿模型產生候選動作，強化學習訓練的模型挑出對的那個。
11. 13:17狀態、動作、結果用 QuickBooks、TurboTax、Credit Karma、Mailchimp 的資料建出企業狀態，從總帳推出動作，再看不同時間範圍的結果，做成數百萬筆向量。
12. 14:36訓練與 AI 商業顧問訓練 LLM 產出更好的建議，與領先模型對比測試後，較便宜的模型勝出；並做成研究預覽中的 AI business advisor，會主動提出機會與依據。
13. 16:28結果導向的 AI問題從哪個模型比較好，變成怎麼引導 AI 達成想要的結果；Udi 認為贏家是資料系統最好、能訓練出結果導向模型的團隊。
14. 17:52三件事與明天的行動每個模型都讀過你的領域卻沒看過結果；差距靠經驗而非更大的模型來補；回去找出資料裡可驗證的結果，開始把 AI 建立在上面。

值得記的話5 句

• A frontier model has read about money, but a grounded model and real outcome has actually watched what happens.前沿模型讀過關於錢的文字，以真實結果為基礎的模型則看過實際發生了什麼07:58

• that's the difference between sounding right and actually being right這就是聽起來對與真的對之間的差別08:19

• the moat here is that it's not about the model access. It's about the data itself that you have.護城河不在能不能用到某個模型，而在你手上的資料15:41

• every model has read about your domain but none has actually watched the plays and the moves and their outcomes每個模型都讀過你的領域，卻沒有一個真的看過每一步棋與它的結果17:52

• you don't close the gap with bigger models. You close the gap with experience差距不是靠更大的模型補上，而是靠經驗18:27

名詞與人物8 個

Intuit

Udi 任職的公司，旗下 QuickBooks、TurboTax、Credit Karma、Mailchimp 等產品的財務資料是這套模型的來源

fluent bluff

Udi 的用語，指前沿模型在金錢問題上流暢又有自信、實際上卻可能有害的回答

grounded in real outcomes

以相似企業做過什麼、結果如何的真實紀錄訓練出來的模型，對照只靠文字學到知識的前沿模型

Princeton 研究

幾週前發表的模擬研究，測試前沿模型能否在 500 天內做長期的經營決策並獲利

CATE

conditional average treatment effect，Udi 用來衡量某個動作對結果實際影響的指標，目的是扣掉「本來就比較成功的公司才有辦法漲價」這類偏差

state、action、outcome

從總帳、損益表、現金流量表與發票推出的企業狀態、動作與不同時間範圍的結果，是訓練資料的基本單位

AI business advisor

以上述模型為基礎的產品，目前在研究預覽，主動提出機會並說明依據

system of record

Udi 認為各領域贏家所擁有的資料底座，用它做出獨特資料集再訓練模型

提到但沒有展開

• 站在產品的角度，Udi 認為好的理財顧問體驗要兩樣都有：扎實的、以結果為基礎的科學，以及懂你的偏好，就像人生中遇過的好導師。
• 程式碼領域已有大量可驗證的結果與更好的模型，Udi 認為金融與其他領域在這方面還很少人探索。

模型研究評估

在 YouTube 看原片 ↗