Braintrust

085 · evals 是企業做 AI 的地基

38:28YouTube 上架 2024-10-08Ankur Goyal（Braintrust CEO）

No Priors Ep. 85 | CEO of Braintrust Ankur Goyal

Ankur Goyal 談 Braintrust 從 evals 長成開發平台，也談客戶實際在用的 RAG、退回確定性流程的 agent、TypeScript 與供應商整併。

085 講了什麼

• 同一套工具做了兩次Ankur 在 Impira（LLM 之前）和 Figma（LLM 之後）都為了評估 AI 產品自己搭過幾乎一樣的工具，因此認定這是很穩定的需求。早期客戶有不少已經自己做過內部版本，才知道 evals 沒有看起來那麼簡單。
• RAG 很普遍，fine-tuning 退場Ankur 看到線上用例大約一半有 RAG。fine-tuning 在 Ankur 眼中是一種技術而不是目標，客戶每兩到三個月重新測一次，幾乎都已改用 instruction tuning。
• 開源模型還差一步Ankur 認為 Llama 3.1 讓開源接近關鍵時刻，但實際採用仍很有限。客戶最在意使用者體驗和開發迭代速度；token 費用便宜的時候幾乎可以忽略，貴的時候投資報酬率也高。
• 資料倉儲不再是重點Ankur 說用網路資料訓練的模型，表現勝過企業用自家倉儲資料訓練的。最前面的公司改用 embeddings 和模型去篩資料；被衝擊最大的會是 OLAP 這一側。
• agent 往回收Ankur 說不少走在前面的公司幾個月前一頭栽進 agent，發現錯誤率高、而且會快速累積，大多已放棄完全自由形式的 agent，改成由程式碼確定性地控制流程，再在各處呼叫 LLM。
• 產品往平台長從評估出發，延伸到 observability、在產品裡調 prompt、自動部署，Ankur 想做 AI 的 universal developer platform。

從哪一段開始看16 段

1. 00:02起源與產品主持人介紹 Ankur 與 Braintrust，產品做 evals、observability 與 prompt 開發。Ankur 從 2017 年的 Impira 講到 Figma，兩邊都得自己搭同樣的評估工具。
2. 02:39為什麼有人付費主持人回憶早期客戶不要開源、想要它長期存在。Ankur 說不少早期客戶先自己做過內部版本，才體會 evals 其實很難。
3. 04:10標準化與品質不確定AI 會滲進整個組織，需要一致的做法；evals 讓團隊從「不知道能不能弄好」變成可以持續調整。
4. 06:01RAG 與 fine-tuning約一半用例有 RAG；fine-tuning 是手段不是目標，客戶多半已改用 instruction tuning，Ankur 也解釋兩者差別。
5. 08:55開源模型採用開源還沒到關鍵時刻，實際採用有限；多數客戶最在意的是使用者體驗與迭代速度，其他都是次要。
6. 10:43資料基礎建設倉儲裡囤的資料價值有限；最前面的公司用 embeddings 找出 evals 沒涵蓋的案例，被衝擊的是 OLAP。
7. 14:42第三次創業的做法把 MemSQL 時期的高難度技術面試帶進 Braintrust，連前端面試都要寫 C++；也刻意挑少數客戶類型，讓回饋能複用到相似客戶。
8. 17:51成熟客戶的共通模式許多公司先下探 agent 再往回走，改成確定性流程加上遍布各處的 LLM 呼叫。
9. 19:39AI 團隊的角色早期採用者多半沒有 ML 人員；Ankur 認為傳統 ML 圈的抗拒多半出於情緒，後來慢慢轉成帶 evals 嚴謹度的 AI 平台團隊。
10. 23:29TypeScript 與 Python多數客戶用 TypeScript：它是產品工程師的語言，型別系統也適合處理模型輸出的不確定資料。
11. 25:19框架退場與供應商整併近半年大家不再用專屬的 AI 框架；客戶也在整併供應商，Ankur 說這主要是 AWS 帶動的：Bedrock 上有了 Anthropic，AI 也能一起整併到 AWS。
12. 27:09CEO 為何還寫程式Ankur 說自己沉迷寫程式，公司配合這點設計，例如早期找來能處理銷售、行銷與營運的人。
13. 30:18進辦公室與立即修復堅持在辦公室，客戶抱怨的問題幾乎都立刻修，並只找享受這種節奏的工程師。
14. 31:39早期的客戶策略列出 50 位走在 AI 前面的人，設法讓他們成為投資人或客戶；有些人當初只投資、說自己用不到，後來也有不少開始用。
15. 33:14產品的下一步早期有客戶（Airtable）拿 evals 當 observability 用，再要求能在 Braintrust 裡調 prompt、重現線上問題並自動部署，朝 AI 的 universal developer platform 發展。
16. 35:32evals 不會消失對品質的焦慮和 LLM 之前一樣；評估越來越由 LLM 擔任，也能跑在不該被人看到的資料上。

值得記的話5 句

• people have hoarded lots and lots of semi-useful data in data warehouses大家在資料倉儲裡囤了大量半有用的資料10:59

• something trained on the internet outperforms what an Enterprise can produce with their own data用網路訓練出來的東西，勝過企業用自己資料做出來的11:15

• companies kind of walking back from the illusion that totally free form agents will solve all of their problems公司正在放下「完全自由形式的 agent 能解決所有問題」的幻想18:06

• typescript is the language of product engineeringTypeScript 是產品工程的語言24:01

• probably more than half of the evals that people do in Brain Trust are llm based在 Braintrust 上，大概超過一半的 evals 是由 LLM 來做37:08

名詞與人物8 個

Ankur Goyal

Braintrust 共同創辦人兼 CEO，先前是 SingleStore 工程副總、Impira 創辦人兼 CEO。

Braintrust

企業用的端到端平台，用來做 evals、observability 與 prompt 開發；主持人介紹時說剛募得 $36 million。

Impira

Ankur 先前創辦的 AI 公司，後來被 Figma 收購。

evals

評估 AI 輸出品質的測試，Ankur 說它比看起來難，也是 Braintrust 的起點。

instruction tuning

在 prompt 裡放範例引導模型行為，不改權重；Ankur 以此對比 fine-tuning。

fine-tuning

直接修改或補充模型權重，Ankur 說比較慢、較貴，也可能把模型弄壞。

OLAP

分析型資料庫工作負載，Ankur 預期它會受 embeddings 查詢方式衝擊。

observability

記錄線上行為並累積成資料集，Ankur 說在 AI 裡目的是拿來做 evals。

提到但沒有展開

• Ankur 提到 Braintrust 的客戶可以寫 LLM 與程式碼兩種評估器，並自動跑在一部分線上日誌上，連開發者不該讀的 PII 也能由 LLM 判斷。
• Ankur 認為向量資料庫之爭「有點蠢」：關聯式資料庫加上 HNSW 索引就做得到，真正要重新設計的是資料倉儲的架構。

在 YouTube 看原片 ↗