091 · Cohere 押注企業與推論算力
No Priors Ep. 91 | With Cohere Co-Founder and CEO Aidan Gomez
Aidan Gomez 談 Cohere 為什麼只服務企業、客戶導入 AI 常踩的坑、企業該不該做預訓練，以及推論時算力為模型生意帶來的新槓桿。
091 講了什麼
- 只做企業，不跟 ChatGPT 打Aidan 說 Cohere 要做的是讓企業採用這項技術的平台與產品。模型是核心，但客戶支援、可靠度、安全同樣關鍵，產品的比重也越來越高。
- 導入失敗多半栽在細節Aidan 指出模型對 prompt 與資料呈現方式很敏感，做 RAG 時檢索結果怎麼呈現、資料庫怎麼存都有影響。2023 年很多 POC 因此失敗，Cohere 的對策是讓模型更穩健，再用 API 把用法規範得更有結構。
- 客製化從最便宜的開始建議客戶先 fine-tuning，再往 post-training，最後才碰預訓練，而且希望只動 10% 或 20% 的預訓練。有人說 AGI lab 以外沒人該碰預訓練，Aidan 認為這在實證上是錯的。
- 不搶第一，晚六個月、花少很多Aidan 說現在要做出企業在意的能力、水準到 GPT-4，可以只花 $10 million 到 $20 million。Cohere 的策略是不燒錢追在最前面，落後六個月，賣價位合理的產品。
- 推論時算力多了第二個槓桿以前客戶要更聰明的模型，只能等 6 到 12 個月重新訓練；現在可以多付推論的錢今天就拿到。Aidan 認為市場還沒把這件事定價。
- 不認為模型在商品化Aidan 把價格下跌看成價格傾銷，並認為接下來 10 到 15 年是整個技術的重鋪，只有少數幾家會做。
從哪一段開始看19 段
- 00:03開場與背景主持人介紹 Aidan 是 Cohere 共同創辦人兼執行長，Cohere 在 2024 年估值超過 5 billion；Aidan 2019 年創辦公司，先前是 2017 年那篇 attention 論文的共同作者。
- 00:34從加拿大到 Google BrainAidan 說靠運氣；念的學校有 Hinton 任教，同學幾乎都想做 AI。實習本來是留給博士生的，大三的 Aidan 是陰錯陽差拿到。
- 02:27為什麼創辦 Cohere和 Transformer 作者們共事後回多倫多，又去英國讀博士，期間也遠端和 Jeff Dean、Sanjay 合作 Pathways。GPT-2 出來後看出走向，找上共同創辦人 Nick 與 Ivan。
- 04:06使命與公司定位目標是讓其他組織採用這項技術，專注企業、不做 ChatGPT 的對手。模型是基礎，客戶支援、可靠度、安全同樣重要，產品也越來越優先。
- 06:15企業最常犯的錯模型對 prompt 與資料呈現很敏感，RAG 的檢索結果與資料儲存格式都有影響；2023 年許多 POC 因此失敗。對策是更穩健的模型，加上更有結構的 API。
- 08:07常見用例最常見的是文件 Q&A：製造業的維修手冊、員工的 IT 與 HR 問答。另一個例子是把病患多年的健康紀錄，依就診原因整理成醫師的簡報。
- 11:17買現成還是自建Aidan 用金字塔說明：底層是人人都要的通用 chatbot，越往上越專屬於公司。買得到的別自己做，把力氣放在沒人會賣的東西，例子是保險公司的 RFP 研究助理。
- 14:29導入的最大障礙首要是信任與安全，受管制產業的資料常不能離開 VPC。Cohere 可以部署在地端或 VPC 內外；其次是缺乏建置這類系統的經驗，Aidan 估計還要兩三年才會普及。
- 16:02有沒有掉進幻滅期Aidan 認為還沒到 trough of disillusionment。即使模型不再進步，把現有技術整合進經濟還有約五年的工作。
- 18:08客製化的層次日語模型這類需求非得動預訓練，與 Fujitsu 合作就是例子；調語氣或格式用 fine-tuning 即可。建議從最便宜的 fine-tuning 開始，再往 post-training，最後才預訓練的一小部分。
- 19:59企業該不該預訓練主持人提到有實驗室領導人認為沒人該碰預訓練。Aidan 說資料量大的大企業，預訓練是真的槓桿，不必花 $50 million 從頭來，$5 million 的接續預訓練就見過成功。
- 21:53資本策略與自己訓練要有最低的投入門檻，但可以等六個月到一年、用小很多的成本做出來。算力每年要數億美元，Aidan 形容公司是「吃資本但不是資本效率差」；也說自己訓練比微調開源模型有更多可以調的槓桿。
- 25:06scaling 趨緩曲線開始進入平坦處，憑感覺試用已經看不出差別，得靠各領域專家評量。對企業的任務，現有技術稍加客製就夠用。
- 26:25推論時算力與推理reasoning 模型 OpenAI 最先上線，Cohere 也做了約一年。多花 token 或推論時間就能換到更聰明的結果，客戶不用等重新訓練，模型公司也不必把超級電腦擴一倍。
- 30:04多步驟問題這類問題需要拆解再組合，Chain of Thought 只是事後補上的做法。網路上的文件只留下結論、推理過程是隱藏的，所以現在請人把想法說出來並轉成訓練資料。
- 32:25為什麼放緩Aidan 用油畫比喻：越到細節越難。程式與數學能驗證，可用合成資料；生物、化學得靠專家，專家的知識會被用完。要走到讓模型自己做實驗，還要很多年。
- 36:21對 AGI 的看法Aidan 認為 AGI 是連續的而不是二元，已經走了很遠；不相信自我改進的超級智慧。要造的是很有用的通用技術，不是造神。
- 39:49LLM 不適合的領域針對特定領域可以做出更有效率的模型。世界上有無法預測的隨機事物，更大的模型也沒用；但 Transformer 能做的比大家以為的多。
- 42:12市場沒定價的事Aidan 不認為模型在商品化，降價是價格傾銷；用「重鋪每條路、只有四五家公司會做混凝土」來比喻，說虧本或免費送是撐不久的狀態。
值得記的話5 句
It is capital hungry, but it's not capital inefficient.
這很吃資本，但不是資本使用沒效率23:45There's now a second lever which is you can charge the customer more
現在多了第二個槓桿，就是可以向客戶多收一點錢27:42the Transformer and this category of model can do much more than people give it credit for
Transformer 與這類模型能做的，比大家以為的多得多41:07I don't think that models are actually getting commoditized
我不認為模型真的在商品化42:28we have to repave every road on the planet and there's like four or five companies that know how to make concrete
我們得把地球上每一條路重鋪一遍，而會做混凝土的公司大概只有四五家43:01
名詞與人物12 個
- Cohere
- Aidan 共同創辦的公司，提供企業用的語言模型與解決方案。
- Aidan Gomez
- Cohere 共同創辦人兼執行長，Attention Is All You Need 共同作者。
- Attention Is All You Need
- 2017 年的 Transformer 論文，Aidan 在 Google Brain 實習時參與。
- Pathways
- Jeff Dean 與 Sanjay 的訓練計畫，把超級電腦接成更大的算力單位。
- RAG
- 讓模型從外部資料庫檢索內容再回答，企業 Q&A 的常見做法。
- POC
- 概念驗證，Aidan 說 2023 年有許多因為常見錯誤而失敗。
- VPC
- 受管制產業的資料常不能離開的雲端私有環境，Cohere 可部署在其中。
- Fujitsu
- 與 Cohere 合作做日語模型的夥伴，例子用來說明何時必須動預訓練。
- continuation pre-training
- 接續預訓練，不從頭來，Aidan 說約 $5 million 的規模見過成功。
- inference-time compute
- 推論時多花的算力，用來換取更聰明的輸出。
- Chain of Thought
- 引導模型逐步推理的做法，Aidan 稱之為事後補上的做法。
- price dumping
- Aidan 對模型降價的解讀：免費、虧本或零毛利地賣，而不是商品化。
提到但沒有展開
- Aidan 認為物理模擬大概也能用序列建模處理，因為物理就是一連串狀態與轉移機率；但把圖當成序列來做，算力會多花很多。
- 推論時算力不需要密集互連的超級電腦，節點可以更本地、更不分散，Aidan 認為這會影響晶片與資料中心的優先順序。