用小模型複製 ChatGPT 的對話能力

011 · 用小模型複製 ChatGPT 的對話能力

40:25YouTube 上架 2023-04-25Matei Zaharia（Databricks CTO）

前 13 集的上架日是頻道補檔的日子（2023 年 4 月底一次補上），不是當初播出的日期，所以跟集號的先後對不起來。

No Priors Ep. 11 | With Matei Zaharia, CTO of Databricks

Matei Zaharia 談 Dolly 怎麼用小型開源模型做出會聽指令的對話能力、模型為何正在商品化，以及企業真正缺的是可靠的資料基礎。

011 講了什麼

Dolly 是複製 Alpaca 的做法Matei 說 Databricks 想讓人用自己的資料訓練模型，不必把資料交給集中式的供應商。Dolly 沿用 Stanford 的 Alpaca 手法，用模型產生擬真對話再拿去訓練另一個模型，只是起點換成開源模型。
小模型也有指令跟隨能力Matei 提到 Dolly 只有 6 billion 參數、訓練資料不到 1 terabyte，資料量比 GPT-3 少約 50 倍，卻有對話行為，連研究者都意外。它擅長自由發揮的文字生成，較不擅長記事實。
核心技術正在商品化Matei 認為硬體會更專用、更便宜，小模型也能用更少資料與參數達到相近表現，今天水準的模型可能便宜到在手機上跑。至於更大的模型會不會更聰明，還是未知數。
企業需要的是資料與周邊系統Matei 列出可靠的資料平台、能實驗與 A/B 測試的 MLOps、和公司內部系統的連線，以及訓練與服務的基礎設施。最期待的是把模型接上可靠的資料來源，解決知識過時與一本正經講錯這兩個問題。
新創要找難以追上的護城河Matei 建議從獨特的資料集或獨特的使用者回饋下手，也預期握有大量領域資料的企業，未來可能轉型成資料或模型的供應者。
學術習慣要忘掉的兩件事Matei 說研究多半是做原型、只看短期，也容易什麼都想從頭發明；公司需要的是能長期演進、可靠的系統，並且對自己做得不一樣的地方要問清楚為什麼。

從哪一段開始看19 段

00:00Databricks 的起點Matei 說公司源自 2013 年 UC Berkeley 的七位研究者，想讓一般企業與科學實驗室也能處理大量資料、用上機器學習；Apache Spark 的第一版是 Matei 的博士論文。
01:18產品與規模平台跑在三大雲上，把資料工程、資料倉儲與機器學習整合在一個產品裡；約 6 000 名員工，去年宣布 ARR 跨過 10 億美元，採用量計費的雲端模式。
02:23當初押的三個趨勢資料容易蒐集、雲端運算能快速擴縮、機器學習。Matei 說他們沒有發明這些，是在企業正要遷移的時間點提供好平台。
03:26Stanford 的研究方向Matei 同時是 Stanford 教授；實驗室做機器學習的可擴展系統，也做把語言模型接上搜尋引擎或 API 的知識密集型應用。
04:28Dolly 的緣起ChatGPT 出來之前就有近一千位客戶用語言模型做翻譯、情緒分析之類的事；ChatGPT 讓人想到全新的介面。Dolly 沿用 Alpaca 的做法，從開源模型開始。
06:49為什麼小模型也行Matei 從 GPT-3 論文講到 OpenAI 的指令微調，說大家原以為得先有巨大模型加強化學習；Alpaca 與 Dolly 用較小的模型就出現同樣行為，至於資料集的哪些特性造成這點仍是開放問題。
10:13Dolly 的意外表現自由寫作很好，記事實較差；Matei 舉初版 Dolly 被問到 Snow Crash 的作者時，答成 Neil Gaiman。
12:03名字的由來Dolly 指第一隻複製哺乳動物；它複製的是 Stanford 的 Alpaca，Alpaca 又來自 Meta 剛釋出的 LLaMA，所以名字取自這一群動物。
13:06接下來的產品Databricks 會提供訓練與運行 LLM 應用的工具，與 MLflow 整合，也在自家產品功能裡用語言模型；6 月有 Data + AI Summit。Matei 最期待把模型接上可靠資料來源。
15:28規模、資料與應用設計模型規模、資料與監督品質、應用設計之間的關係還不清楚；Matei 認為核心技術會快速商品化，今天水準的模型可能在手機上跑，token 逐個生成的格式也不利於規劃與推理。
18:51企業需要什麼資料平台要能支援文字與圖片等非結構化資料；還要有實驗、部署與 A/B 測試的 MLOps、和公司內部系統的連線，以及講究延遲與速度時的訓練與服務基礎設施。
21:13傳統 ML 與 LLM 的用途傳統 ML 用在預測與自動化決策，例如供應鏈，以及像軍備競賽、準確率每多一個百分點都有影響的詐欺偵測；語言模型的亮點在介面，如客服、商品頁問答，以及 Databricks 內部用 Slack 問答與文件來自動回答工程問題。
24:04給創業者的空間Matei 認為可做領域專用的模型與工具、開發 LLM 應用的程式工具；護城河來自獨特的資料集或使用者回饋。
25:53從博士研究到創辦公司Matei 說自己原本沒打算創業，只想做有用的事，也考慮當電腦科學教授，所以想先搞懂資料中心裡的運算。
27:39技術創辦人該忘掉的事研究以原型和短期成果為主，創辦公司要考慮長期可靠；也別為了新奇而什麼都從頭發明，部署基礎設施就是改用 Kubernetes 的例子。
29:42研究者眼中的規模極限Matei 以研究者的長期視角談報酬遞減：這類運算只有兩三種矩陣運算，是硬體設計者的夢想；電腦視覺與自駕車也都在某個點停滯。參數變多主要增加的是記憶量，那用資料庫查比較有效率。
34:12模型之外的系統設計逐 token 生成是限制，chain of thought、草稿紙、回溯等做法在模型之外改善表現；主持人提到之前來過節目的 Noam Brown，Cicero 就把規劃放進系統裡。
35:29CTO 如何做長期判斷公司變大後轉向變慢，所以要想長期；Matei 轉述 CEO Ali 的決策原則，並說研究訓練出快速驗證假說的習慣。
38:09這一代 AI 走到哪Matei 認為非結構化資料上的 AI 還在早期，資料與 ML 基礎設施也還很零散；預期每個軟體工程師都要兼具 ML 與資料工程能力，並拿網頁應用變簡單來類比。

值得記的話5 句

surprisingly good at just free form like kind of fluent text generationDolly 在自由寫作、流暢的文字生成上出乎意料地好10:43
it does seem that the core Tech is getting commoditized very quickly核心技術似乎正在很快地商品化16:46
the right solution for that is look things up in a in a database解法是去資料庫裡查；指要記住很多事實這件事32:37
which one am I like sort of more likely to regret like five years from now哪一個選擇我五年後比較可能後悔；這是 Matei 轉述 CEO Ali 的決策原則35:45
every software engineer will need to become an ML engineer and a data engineer also每個軟體工程師都得兼任 ML 工程師與資料工程師38:56

名詞與人物10 個

Matei Zaharia: Databricks CTO，也是 Stanford 電腦科學教授，本集來賓。
Databricks: 跑在三大雲上、整合資料工程、資料倉儲與機器學習的資料與 ML 平台。
Apache Spark: 開源的分散式資料處理專案，第一版是 Matei 的博士論文。
Dolly: Databricks 做的指令跟隨模型，沿用 Alpaca 手法，以開源模型為起點。
Alpaca: Stanford 的研究，用模型產生對話資料來訓練另一個模型。
LLaMA: Meta 釋出的模型，Matei 說是 7 billion 參數，用 1.4 trillion tokens 訓練。
instruction following: 模型聽得懂並照做使用者的指示，而不只是接續文字。
MLflow: Databricks 的開源專案，Matei 說會與各種 LLM 工具整合。
Data + AI Summit: Databricks 6 月的大型使用者大會。
chain of thought: 要模型逐步想過再回答，比直接作答更容易答對。

提到但沒有展開

Matei 提到 Stanford 實驗室做的知識密集型應用：把語言模型接上搜尋引擎或 API，產出附參考資料與反面論點的文獻回顧之類的結果。
Matei 分享的一個類比：自己學程式的 90 年代中後期，做網頁應用要湊 MySQL、Apache、CGI 等好幾本書；現在多數開發者一個函式就能做到。Matei 認為資料與 ML 還離那個程度很遠。

在 YouTube 看原片 ↗

Databricks