主持人對談

035 · 模型再好十倍百倍的路

23:54YouTube 上架 2023-10-05

No Priors Ep. 35 | With Sarah Guo and Elad Gil

Sarah 與 Elad 兩人對談：不必等下一代模型，客製化、RAG 與 AI 回饋就能讓現有系統大幅進步；再聊 Meta 為什麼推開源，以及生成式 AI 帶來的社群機會。

035 講了什麼

• 六個方向可以拉高十倍百倍多模態、更長的 context window、模型客製化、記憶、遞迴、一群小模型由路由器調度。Elad 說這些用現有模型就能開始做，剩下的只是什麼時候的問題。
• fine-tuning 靠回饋資料其中一位主持人以 ChatGPT 為例，GPT 3.5 的底層沒有太大變化，是請很多人替輸出排序、再用人類回饋做強化學習，使用體驗才大幅改變。
• RAG 的好處是可信、省錢、新鮮其中一位主持人說從指定的資料集檢索再推理，可以附上引用、控制資訊來源，也不用為了新資料重訓模型。另一位補充，這也能減少模型編造內容。
• AI 回饋可能取代人力標註其中一位主持人提到 Google 的論文，指出某些用途上 AI 給的回饋和人類一樣有效，不必再請一大批人來標。
• Meta 推開源有自己的算盤一位主持人拿 MySQL 類比，另一位拿 Linux 反問。兩人談到 Meta 想把模型用在自家業務、不想被單一供應商綁住，也談這個類比在哪裡不成立。
• 生成式 AI 重新打開社群與創業的空間其中一位主持人認為內容生成能解決社群產品的內容冷啟動。給創業者的建議則是現在先做容易的市場，困難的留到技術更普及之後。

從哪一段開始看15 段

1. 00:00開場與六個方向這集只有兩位主持人。Sarah 請 Elad 先列出讓 AI 好十倍到百倍的方向，Elad 列了六件：多模態、長 context、客製化、記憶、遞迴、小模型加路由器。
2. 02:55兩則最近的消息一是 OpenAI 在 fine-tuning 上的動作，二是 Google 比較人類回饋與 AI 回饋。主持人接著說明 OpenAI 把 fine-tuning 擴大到 3.5 這類模型，也更適合企業用途。
3. 03:57為什麼客製化重要模型在商業與消費應用裡多半是針對特定任務在用；同一位主持人說，用高品質資料做出來的 70、30 或 100 billion 參數、甚至更大但不到 GPT-4 規模的模型能到什麼程度，還沒有人探索過。
4. 05:14ChatGPT 與人類回饋另一位主持人說 ChatGPT 是 GPT 3.5 加上人類排序輸出、再做 RLHF，成了整波 AI 熱潮的起點，並舉醫療資料與公司 HR 問答當企業用例。
5. 07:01RAG 是什麼其中一位主持人說明 RAG：從指定的文件集合檢索，保留模型的推理能力，但答案要來自那組資料，而不是網路上的各種雜訊。核心是可信、引用與來源控制。
6. 08:17成本、時效與幻覺納入新資料不必重訓，也能用到最新的研究或案例；另一位補充，限定在已知存在的資料裡，還能減少模型編造，例如引用不存在的判例。
7. 09:34人類回饋對 AI 回饋同一位主持人接著說 Google 的論文顯示，AI 評斷 AI 輸出在某些用途上和人一樣有效。早期的徵兆是 Med-PaLM 2：專門在醫療資料上訓練，輸出往往比醫師專家更正確。
8. 10:55Twitter 資料與 MetaTwitter（現在的 X）宣布會用自家資料訓練模型；Llama 與 Llama 2 讓 Meta 成為開源模型的主要推手，接著問對方怎麼看 Meta 為什麼這樣做。
9. 11:46MySQL 的類比主持人把 Meta 對 Llama 的支持比作 MySQL：Facebook 這類大公司不想受制於商業資料庫廠商，就把它做穩、再貢獻回去。
10. 13:20Linux 與 Meta 的理由另一位舉 Linux 反問：IBM 為了制衡 Microsoft，90 年代後期某些年份每年投入十億美元。討論 Meta 的動機（分攤成本、用在核心消費業務）與類比的破口（集中訓練難以配合開源社群）。
11. 16:27社群產品停滯很久其中一位主持人說，上一個大型社群網路某種意義上是七年前推出的 TikTok。要搶使用者的時間很難，新創也多半只是重做一次 Twitter 或早期 Facebook。
12. 17:46社群的座標與冷啟動同一位主持人用廣播或互相追蹤、圖像或影片、長篇或限時，替社群產品畫座標。另一位談 Toutiao、TikTok 這些一開始就是 AI 原生內容聚合的中國公司，怎麼解決相關性的冷啟動。
13. 19:52生成帶來內容冷啟動其中一位主持人認為生成讓人容易做出有吸引力的內容，另一位舉 Midjourney、Pika、Character 為例。問題是它會變成像 Giphy 的創作工具，還是新的社群或溝通產品，也可能最後仍是 Meta。
14. 21:23創業先做容易的其中一位主持人說新技術剛改變市場時，不要挑困難的市場；若要做難的，就做技術困難、能換來大突破的那種。一直磨卻拿不到客戶關注，就別再花時間。
15. 22:23先找到 product market fit另一位說加速器裡有研究背景很強的團隊，挑了程式碼生成領域一個想一次全解的大問題；今年就能交給客戶的做法，風險低得多。結尾的口號是 no GPU before product market fit。

值得記的話5 句

• you don't need to wait for gpt7 or whatever you could start with gpt4 or GPT 3.5 and add these things你不必等 GPT-7 之類的，可以從 GPT-4 或 GPT 3.5 開始，把這些東西加上去00:52

• it's more just a matter of when right it's not really an if anymore現在只是什麼時候的問題，不再是會不會發生02:40

• the core driver as like trustworthiness right citation control of information source核心動力是可信度：能附引用、能控制資訊來源07:46

• don't do the hard stuff right now現在不要去做困難的事21:38

• it's no GPU before product Market fit先有 product market fit，再談 GPU23:11

名詞與人物10 個

fine-tuning

用大量回饋資料調整現有模型，讓它更貼近某個任務。

RLHF

用人類對輸出的好壞評分做強化學習，ChatGPT 靠它從 GPT 3.5 變得好用。

RLAIF

把評分的人換成 AI 模型，成本低得多。

RAG

先從指定資料集檢索，再讓模型根據檢索結果推理與回答。

context window

提示一次能餵給模型的資料量，越長越能一次丟進整個程式碼庫。

AI router

由中央模型把任務分派給各個專門小模型的架構。

Med-PaLM 2

Google 專門在醫療資料上訓練的模型，主持人說它的輸出往往比醫師專家更正確。

Llama 2

Meta 的開源模型，主持人說已有很多人圍繞它。

Midjourney / Pika / Character

主持人舉的生成式 AI 消費產品例子。

Can of Soup

近期 YC 梯次的新創，主持人拿它當生成式 AI 消費產品的新嘗試。

提到但沒有展開

• Elad 舉 Magic 當長 context 的例子：程式碼模型應該能一次吞下整個程式碼庫。
• 主持人提到 Foundry 與 Together 這類團隊，在處理集中訓練與開源社群之間的技術協調。
• 主持人引 wikiHow 創辦人的話：十年前 wikiHow 的貢獻者流失，主要是跑去玩社群遊戲，搶的是時間與注意力。

在 YouTube 看原片 ↗