031 · 晶圓級晶片與 GPU 缺貨
No Priors Ep. 31 | With Cerebras CEO Andrew Feldman
Cerebras 執行長 Andrew Feldman 談為什麼用一整片晶圓做 AI 晶片、跟 G42 合作蓋超級電腦、開源阿拉伯語模型，以及做晶片公司和做軟體公司差在哪。
031 講了什麼
- 早在 Transformer 之前就押 AIAndrew 說 2015 年底幾個老同事開始固定碰面，2016 年初決定做 wafer scale 晶片，尺寸像餐盤，一般晶片則像郵票。這是 Andrew 的第五次創業，也是第一次把市場規模看小了。
- 比的是訓練要花多久Andrew 不信手工 benchmark，認為重點是客戶從模型到跑完一輪訓練花多少時間。Cerebras 只用資料平行，省下切分矩陣運算、分散到多張 GPU 的工夫。
- 記憶體和運算拆開參數存在晶片外的 parameter store 再串流進來，所以記憶體和運算的比例可以自己配，不必像 GPU 那樣綁在一起買。
- 開源模型是展示用的Andrew 說算力多，開源模型是證明自家系統訓練容易。Cerebras 3 月一次開了七個 GPT 模型，也要和 G42 旗下的 Inception 等夥伴開源最大的阿拉伯語 LLM。
- 做晶片的結構性難處第一顆晶片要花兩到三年、50 或 60 million，做出來才知道客戶喜不喜歡；一個 bug 的代價也遠高於軟體。
- 缺貨和資料的看法Andrew 認為晶片供應鏈很難調整，預測會繼續錯下去、而且低估需求；也認為有獨家資料集的公司是下一個重點。
從哪一段開始看15 段
- 00:00開場與 G42 合作主持人介紹 Andrew 與 GPU 缺貨的背景。Andrew 說與 G42 要蓋九台超級電腦，每台 4 exaflops，合計 36 exaflops。
- 01:38為什麼做 AI 晶片2015 年底五個人開始固定碰面，CTO 問：為推像素設計的機器為何剛好適合 AI？2016 年初決定自己做得出更好的晶片。
- 02:25餐盤大小的晶片選了從沒成功過的 wafer scale，因為預見記憶體頻寬與切分工作的問題。這是 Andrew 第一次把市場規模估小。2016 年初做了八場簡報、拿到八份 term sheet。主持人回頭翻筆記，發現 Andrew 當時列的深度學習七大問題都是訓練太久。
- 04:31看訓練時間不看 benchmark拿 AMD 與 CTO 前公司都有專門的人在衝 benchmark 為例。真正的答案是客戶訓練模型花多久，以及從模型到跑完要不要耗上幾個月做分散式運算。
- 06:01晶片的 dataflow 架構約 850,000 個相同的 tile，每個含處理器與記憶體；核心收到 token 才動作。Andrew 說這個架構 80 年代在 MIT 就有，直到 AI 才有合適的工作負載。
- 08:21記憶體與運算拆開GPU 的記憶體固定，要多一點就得連運算一起買。Cerebras 把參數放在晶片外，可在單一系統上跑任意大的網路，只是會慢。
- 09:39G42 與開源模型合作最先促成的是 Hugging Face 上排名第一的 30 億參數模型，下載超過一百萬次，有 Fortune 100 公司在用。接著要與 G42 旗下 Inception 等夥伴開源最大的阿拉伯語 LLM。3 月一次開源七個 GPT 模型。
- 11:44模型大小與多語模型175 billion 以上又貴又難服務，正式上線的很多是 13 billion 以下。Andrew 預期多語模型會增加，難處是非英語的資料少；各國都想讓自己的語言與文化被好好收進模型。
- 15:23做晶片公司難在哪第一顆晶片要等兩到三年才知道客戶反應，品保人力比軟體公司多得多。公司約 75% 是軟體，晶片是肌肉、軟體是大腦。
- 17:46AI 加速器市場與 NVIDIAAndrew 說 NVIDIA 現在很貴也出不了貨，替代方案因此有機會。客戶不想綁死單一供應商；有客戶在 GPU 叢集上訓了 60 天還沒收斂，在 Cerebras 上三天半就收斂。
- 19:51晶片會不會越來越專用Andrew 說關鍵是什麼做成專用、什麼做成通用，專用電路沒用到時就是浪費。Cerebras 在訓練端不做專用化，但預期訓練與推論會用不同矽片；generative 推論要存的東西多，目前很貴。
- 23:37供應鏈與缺貨晶圓廠不能立刻調產能，預測錯了要六到八個月消化，晶圓又已分配給其他大公司。Andrew 預期市場會被繼續低估，預測會持續出錯。
- 26:11模型規模的上限越大越難重訓；要在準確度、大小與推論成本之間取捨。做生意的人最後會停在 3、6、13 billion。
- 27:47Fine-tuning 的重要性Andrew 看好 fine-tuning，並說人類回饋讓模型好很多，就像學跳舞時被糾正。還不知道從頭訓練、持續訓練、拿現成模型加資料，各自適合誰。
- 28:52獨家資料集大家一開始都抓網路資料，之後有多年研究與獨特資料的公司，例如 Reuters、Bloomberg，會變得重要。Andrew 把資料稱為新的黃金。
值得記的話5 句
how long it takes your customer to train a model is the answer
客戶訓練一個模型要花多久，那才是答案04:46language captures experience
語言承載經驗13:20the chip is the muscle and the software is the brain
晶片是肌肉，軟體是大腦17:15what do you make special and what you make General
什麼做成專用，什麼做成通用19:51I think it's the new gold
我覺得資料就是新的黃金29:25
名詞與人物9 個
- Andrew Feldman
- Cerebras 執行長，先前創辦的節能微伺服器公司在 2012 年被 AMD 收購。
- Cerebras
- 做 wafer scale AI 晶片與超級電腦的公司。
- wafer scale
- 把整片晶圓做成一顆晶片，Andrew 形容像餐盤，一般晶片像郵票。
- G42
- Cerebras 的合作夥伴，雙方要蓋九台超級電腦。
- dataflow
- 核心等收到 token 才工作、再往下傳的架構。
- parameter store
- 放在晶片外的參數儲存，需要時串流進晶片。
- data parallel
- 每台機器用同樣的權重、處理不同部分的資料，Cerebras 只用這種平行方式。
- Inception
- G42 旗下的團隊，與 Cerebras 一起開源阿拉伯語 LLM。
- tokenization
- 影響非英語模型品質的切詞方式，Andrew 說要設計得謹慎。
提到但沒有展開
- 做晶片的人力結構：Andrew 說晶片公司常常每一位開發者要配三、四位品保，因為一個 bug 可能要重做晶片。
- 阿拉伯語、希伯來語、印地語的字元有時需要兩個 bit 而不是一個，所以 tokenization 要設計好，否則模型會更偏向英文。