兩次創業與 ML 工具的轉向

026 · 兩次創業與 ML 工具的轉向

43:45YouTube 上架 2023-08-03Lukas Biewald（Weights & Biases CEO）

No Priors Ep. 26 | With Weights & Biases CEO Lukas Biewald

Lukas Biewald 從研究碰壁講到兩次創業，談 Weights & Biases 為什麼把 LLM 當成存亡威脅、真正上線的 LLM 為什麼還很少，以及閉源的取捨。

026 講了什麼

從訓練資料看出問題Lukas 在 Yahoo 把各國的搜尋排序從人工調權重換成機器學習，模型每國都一樣，成效卻差很多，差在那個國家收集訓練資料有多認真。所以想做一間讓做 ML 的人自己掌握資料收集的公司。
八年停滯後才等到成長標註公司拿下 eBay、Google、Bloomberg 之後，就沒有別的客戶可以找了，大約八年幾乎沒有成長。自駕車興起才讓營收再衝上來，但 Scale 隨即在自駕市場搶走生意，公司後來賣掉。
給 ML 人簡單的工具Weights & Biases 以實驗追蹤聞名，也做資料版本、監控與 model registry。Lukas 自認不懂 git、怕 Docker，數學或研究背景的人需要的是不必多想的工具，而不是 ops 那一套。
把 LLM 當成存亡威脅很多 ML 任務現在直接問 LLM 就做得到。公司的指標還看不出影響，主管團隊與董事會也有疑慮，Lukas 相信客戶會做理性的選擇，於是全公司轉向支援這套流程，推出 Prompts。
LLM 上線的公司很少Lukas 認為募資做 LLM 工具的公司，可能比真正把 LLM 放進正式環境的公司還多。主持人補充，大企業光規劃就要六個月，還要再一兩年才會普及。
閉源換來使用數據一開始閉源，是因為不知道開源要怎麼做成生意。競爭對手都開源，看不到使用者怎麼用；Weights & Biases 看得到點擊，沒人按的按鈕就拿掉。現在客戶端與跑在客戶伺服器上的部分是開源的。

從哪一段開始看19 段

00:00開場與來賓介紹主持人介紹 Lukas 先後創辦的 Figure Eight 與 Weights & Biases。
00:34在 Stanford 學 MLLukas 從小迷圍棋，大一寫信想跟 Daphne Koller 做研究被客氣回絕，後來修課、當研究助理；最大的收穫是清楚的思考與不容忍馬虎。
02:54研究做不出東西發表的論文是丟一千倍的運算，在沒人在乎的任務上把準確率從 68 推到 70；做 word sense disambiguation 也覺得是死胡同，所以想做大家真的在乎的事。
04:57在 Yahoo 看到資料的重要Lukas 推掉沒講清楚要做什麼的 Google offer，去 Yahoo 做各語言的搜尋排序；同一個模型在各國成效不一，差在訓練資料。
06:45創辦資料標註公司當時的做法是寫五十頁的需求文件，標註的人根本不讀。Travis Kalanick 給的建議是別跟人說這是 AI，創投不想聽。
10:24八年停滯與出售拿下 eBay、Google、Bloomberg 之後就沒地方去了；自駕車帶動營收，Scale 卻在自駕市場超車，公司賣掉後才有空間做 Weights & Biases。
12:33Weights & Biases 在做什麼實驗追蹤是最知名的功能，另有資料版本、data lineage、production monitoring、model registry，讓 ML 可以穩定地做下去。
13:37跟上時代與簡單的工具Lukas 發現自己的 ML 知識過時，去教課、到 OpenAI 短期實習補課；研究者的程式碼總會流進正式環境，該給他們夠簡單的工具。
17:32LLM 是存亡威脅情緒分析、抓出文件裡的人名，現在都可以直接問 LLM；指標還看不出來，Lukas 仍說服團隊與董事會，把 LLM 工具列為第一優先。
20:25專有模型與開源模型主持人引 LangChain 的 Harrison Chase 說的「no GPU until product market fit」：先用 GPT 驗證，再換便宜的模型或自訓。Lukas 只看眼前，認為 GPT 遙遙領先，自己跑模型有隱藏成本。
22:16真正上線的 LLM 很少Lukas 說的上線是指在正式環境用 GPT，這樣的公司也只有一小撮；年初找已上線的 design partner 很難，現在這塊工具市場其實很小。
23:53企業採用比想像慢Lukas 說企業採用比外界以為的慢。主持人補充 ChatGPT 才出來八個月，目前用起來的是 Notion、Zapier 這類技術創辦人帶頭的公司，大企業還要一兩年；Lukas 說這兩家的 LLM 功能自己也沒在用。
25:58製藥業的投入Lukas 說每間藥廠都在大舉投資 ML，從一次招幾百人看得出來；主持人說「還沒有 ML 開發的藥上市」是落後指標，臨床試驗週期本來就長。
28:48客戶遍及各行各業遊戲公司、農業（John Deere 只噴雜草的噴霧機）、金融科技都是客戶；沒有哪個產業大到值得做垂直行銷。
31:36開發者與研究者早期的 ML 工具公司賣給主管，卡在幾百萬美元的大單裡轉不了 PLG；各大公司的 MLOps 團隊出來募資創業，卻不擅長跟開發者打交道。
34:43開源或閉源Lukas 喜歡替自己也做得出工具的人做工具；閉源讓產品更順手。主持人認為應用層的開源很少成功，一是沒有回饋，二是沒人想做。
38:08對標註市場的心結輸給 Scale 的事一直放不下；Lukas 佩服對方的執行力，但刻意不去看標註市場的動向。
38:54第二次創業學到什麼一開始就想清楚要服務誰，挑自己喜歡的客戶；也更有自信看長期，不為了這一季的 ARR 犧牲產品品質。
40:43給創辦人的建議做出人們想要的東西，要比自己以為的更在乎；多見客戶，見面時準備好、敢問難問題。

值得記的話5 句

I just really kind of viscerally felt how much the the training data process mattered我切身感受到訓練資料的流程有多重要06:29
our customers are rational and they're gonna do a thing that like makes sense for them我們的客戶是理性的，他們會做對自己合理的事19:22
there's probably more companies that have raised money as like LLM tools than companies that have LMS in production募資做 LLM 工具的公司，大概比把 LLM 放上正式環境的公司還多22:32
no drug developed by ML has gone through clinical trials還沒有任何由 ML 開發的藥走完臨床試驗26:43
you should care more than you think no matter how much you think不管你以為自己有多在乎，都該更在乎41:13

名詞與人物10 個

Lukas Biewald: Weights & Biases 的 CEO 與共同創辦人，先前創辦 Figure Eight。
Weights & Biases: 給做機器學習的人用的工具，以實驗追蹤聞名。
Figure Eight: Lukas 的第一間公司，做訓練資料標註；最早叫 Dolores Labs，後來叫 CrowdFlower。
Daphne Koller: Lukas 在 Stanford 的教授，也上過 No Priors。
Travis Kalanick: 以 Uber 出名，早期常給 Lukas 建議。
experiment tracking: 記錄模型訓練過程中的表現，是 Weights & Biases 最知名的功能。
Prompts: Weights & Biases 為 LLM 工作流程推出的工具。
LLMOps: Lukas 說大家把新的 LLM 工作流程叫做 LLMOps，相對於原本的 MLOps。
Scale: 標註公司，在自駕市場超越了 Lukas 的第一間公司。
John Deere: 合作多年的客戶，已推出只對雜草噴藥的噴霧機。

提到但沒有展開

Dolores Labs 早期在網站放了 Lukas 的手機號碼，用 Twilio 做電話總機，Lukas 說自己是 Twilio 的第一個使用者；Travis Kalanick 就是看到網站打來的。
Lukas 的祖父是 pattern maker，替其他機工做樣板。Lukas 說替自己也做得出工具的人做工具，有一種榮譽感。
Lukas 覺得 ML 的開發者與研究者界線愈來愈模糊：NVIDIA 的晶片讓深度學習可行，研究者開始碰到 linker error，得學著當軟體工程師；AI 又是最熱門的課，聰明的軟體工程師也轉成了 ML 研究者。

在 YouTube 看原片 ↗

Weights & Biases