主持人對談

020 · 市場對 AI 看錯的三件事

34:57YouTube 上架 2023-06-08

No Priors Ep. 20 | With Sarah Guo and Elad Gil

兩位主持人回答聽眾提問，先談市場最常誤解的地方：把新技術當成舊 ML 的延續、嫌企業採用太慢、急著呼籲監管。接著談 codegen、context window、中國與晶片禁令，以及大公司發表 AI 功能後新創還有什麼空間。

020 講了什麼

• 三個誤解Elad 認為市場把這波當成過去十年機器學習的延伸，但架構已經換成 diffusion 模型與大型語言模型；企業採用慢，也只是 ChatGPT 之後才六個月；業界急著呼籲監管，在 Elad 看來天真。
• 監管與核能的類比Elad 說美國的核能監管機構成立後，50 年來沒有新的反應爐設計獲准；接著有人補充，更新、更安全的反應爐一座也沒蓋。Elad 自認長期是 Doomer，但認為短期內監管不當反而會把事情帶往壞的方向；之後的對談又提到，大家把仇恨言論、偏見和生存風險綁在一起談，科技業卻急著投向自己不了解的監管者。
• codegen 還很早其中一位主持人認為 Copilot 已經很有生產力，但如何給模型更多脈絡、做出什麼樣的使用體驗，都還在摸索；也提到能接 ticket 並送出 pull request 的「初階開發者」式介面。
• context window 的拉鋸Sarah 認為脈絡會膨脹到塞滿視窗，所以如何有效放進資料會一直是產品問題。接著的回應則願意打賭兩年內視窗大小大致不成問題，並問視窗要大到什麼程度才算夠。
• 中國的反應其中一位主持人把 MiniMax、百度的投入看成預期中的「本土龍頭」模式；另一位認為晶片禁令會逼出國內的硬體產業。
• 大公司與新創兩位都認為大公司宣布 AI 功能是預期中的事，要看能不能真的出貨；其中一位主持人認為密集整合、連接器多的企業軟體，第一次出現被挑戰的缺口。

從哪一段開始看13 段

1. 00:00第一個誤解Sarah 開場，請 Elad 說市場對 AI 看錯什麼。Elad 的第一點是別把這波當成過去十年 ML 的延伸，架構換了，連 Chain of Thought 這類能力都是新的。
2. 01:33採用才六個月第二點：ChatGPT 到現在才六個月，等於企業的一個規劃週期；Elad 預期會有更多炒作，因為有些東西已在營收上快速見效。
3. 04:05急著要監管第三點：業界自己急著呼籲監管，Elad 覺得不尋常。以核能機構為例，並提到醫療、教育上的全球公平。
4. 05:21核能與 AI 風險其中一位主持人先談核能被放進生存風險的框架；兩人接著談核電占比、死亡率與反應爐更新停滯，再回到 AI：長期確實有風險，短期卻把仇恨言論、偏見與生存風險綁在一起。
5. 08:27知識近用與 codegen其中一位主持人說模型編碼了網路上公開的知識，不普及很荒謬；接著談 codegen 為何是最期待的領域，以及 Copilot 之後可能的介面。
6. 11:08context window從幾家做 codegen 的公司談到視窗擴張。Sarah 說脈絡會膨脹到塞滿視窗；接著的回應認為兩年內視窗大小大致會解決，並問多大才會逼近漸近線。
7. 15:52中國與晶片禁令一位主持人問中國的反應，另一位從中國網路生態的本土龍頭談起，舉 MiniMax 的募資與百度新成立的 AI 創投基金；接著談 MiniMax 團隊的出身，以及禁令如何催生國內硬體。
8. 21:18大公司的 AI 發表Microsoft、Google 的發表對新創有沒有影響。兩位的看法：在別人平台上蓋東西的風險本來就有，要看這些功能實際出貨的速度。
9. 25:42大型軟體的缺口主持人認為密集整合的企業軟體，如 Salesforce 與 ERP，第一次出現被挑戰的可能；另一位追問是不是 AI 生成整合程式碼降低了門檻。
10. 28:04企業 AI 堆疊主持人看好整合式的企業 AI 工具：信任與安全、prompt 管理等，現在多是單點方案。
11. 29:06資安與維運決策主持人想知道針對技術型企業資料的決策，例如資安事件分流、root cause analysis，會由現有廠商加功能，還是出現新公司。
12. 31:45標註與合成資料標註、合成資料與資料共享仍是企業的阻礙；有人提到客戶資料受隱私與合約限制，怎麼匿名化或生成可用的合成資料，不確定問題有多大，但技術上很有意思。
13. 33:37自動更新記錄系統最後一個構想：把世界上發生的經濟事件，自動、穩健地寫進 CRM 或 ERP 這類資料庫。

值得記的話5 句

• this is not a normal extension of what NLP used to be like this is a fundamentally new set of capabilitiesElad：這不是 NLP 的正常延伸，而是一組根本上全新的能力02:03

• it's very early in the hype cycle there's more to comeElad：炒作週期還很早，後面還有更多03:35

• I've never seen the technology industry rush into the arms and embrace of Regulators which they don't understand and have never dealt with before其中一位主持人：我從沒見過科技業急著投向自己不了解、也沒打過交道的監管者懷抱07:40

• context will expand to fit the windowSarah：脈絡會膨脹到塞滿視窗11:40

• you could almost measure the rapidity with which somebody adopts this technology almost as a metric of management competenceElad：採用這項技術的速度，幾乎可以拿來衡量管理能力25:10

名詞與人物9 個

Sarah Guo / Elad Gil

本集兩位主持人；開場由 Sarah 向 Elad 提問。

diffusion-based models

Elad 說這是以統計物理為基礎的模型，用在影像生成。

Chain of Thought

大型語言模型出現的一種處理資訊方式，Elad 舉為與過去 NLP 不同的能力。

context window

模型一次能放進的內容長度，本集談到 32k、100K 等數字。

catastrophic forgetting

Sarah 用來質疑「把全部脈絡直接丟進去就好」的想法。

Copilot

codegen 產品的例子，主持人說它正在替 Microsoft 帶來營收。

MiniMax

中國的 LLM 公司，主持人提到它以 1.2 billion 估值募得 250 million 美元，團隊來自 SenseTime。

SenseTime

主持人描述為與中國政府合作很多的臉部辨識公司。

SIEM

資安事件的關聯分析產品，主持人認為現有產品誤報、漏報都太多，沒人喜歡。

提到但沒有展開

• Sarah 提到在 Conviction 的辦公室辦了給大學生與新鮮人的 AI devtools hackathon，用到的 Anthropic 長視窗模型，光放進 Kubernetes 文件就很快用完。
• 主持人認為 SIEM 跟 Datadog 處境不同：大企業常有 200 多種資安產品把資料灌進 SIEM，SIEM 廠商自己不掌握資料來源，新進者不見得吃虧；Datadog 自己收集資料、產品線又廣，很適合切入資安與維運的決策問題。

在 YouTube 看原片 ↗