Microsoft

018 · 微軟 CTO 談 AI 平台押注

54:56YouTube 上架 2023-05-24Kevin Scott（Microsoft CTO）

No Priors Ep. 18 | With Kevin Scott, CTO of Microsoft

Kevin Scott 從維吉尼亞鄉下一路談到 Microsoft CTO，也談與 OpenAI 合作的理由、copilot 的技術堆疊，以及 AI 對工作和監管的影響。

018 講了什麼

• 從鄉下男孩到 CTOKevin 在 80 年代用 Radio Shack Color computer 自學，一度想當電腦科學教授，約 30 歲對學界的評價方式失望，轉去 Google，後來當上 manager。
• 把資源集中押在有證據的路上Kevin 到 Microsoft 時 AI 投資很分散。transfer learning 在語言上開始有效後，公司全力投入，Kevin 說自己甚至收走全公司的 GPU 預算，只分給有明確證據的方向。
• OpenAI 合作有兩個理由一是 transfer learning 讓共用平台變得可行，成本能攤到很多應用上，而 Microsoft 需要野心夠大的夥伴，OpenAI 是野心最大的；二是 OpenAI 也認為這些模型會長成平台，跟 Kevin 的看法一致。Kevin 說當時公司內部意見很分歧，Satya 的說法是「no regrets」式的投資。
• copilot 是一整套堆疊Kevin 把它比成 OSI 網路分層，包含介面模式、plugin、orchestration（LangChain、semantic kernel）、meta prompt、RAG，以及往下與往回傳時都要過的安全過濾。
• 模型不是產品Kevin 認為有意思的產品出現在「從不可能變成困難」的地方，不是「從不可能變成容易」的地方，並用智慧型手機早期的 app 當例子，要大家別只是在既有產品上撒一點 LLM 粉末。
• 工作、教育與監管Kevin 認為需要在實體世界動手的職業需求會更大，人也總想看人做的事。談公共討論時，Kevin 舉 Sal Khan 的 TED 演講與 two sigma problem，也說有人想監管，代表這件事真的重要。

從哪一段開始看19 段

1. 00:05開場介紹主持人介紹 Kevin Scott 與 Microsoft 在 AI 上的下注，提到 Kevin 的經歷與 2020 年的書 Reprogramming the American Dream。
2. 00:53從鄉下到 CTOKevin 說一路靠運氣，加上青少年時迷上電腦。高中遇到一位電腦科學老師，從此立志當教授。
3. 03:59離開學界進 Google約 30 歲覺得教授最有價值的影響力（啟發學生）最不受重視，面試 Google 時被一整個編譯器小組面試，選了剛成立的紐約辦公室，後來轉當 manager。
4. 08:09早期 Google 與 OpenAI主持人與 Kevin 聊到早期 Google 由學者主導，Kevin 說坐在 OpenAI 裡很有早期 Google 的感覺；主持人說又看到 string theorist 被找去做電腦科學的職位。
5. 09:41AI 成為技術賭注Kevin 到 Microsoft 快六年半，當時投資很分散；transfer learning 在語言上見效後全力投入，並收走全公司 GPU 預算集中分配。
6. 13:03為什麼找 OpenAI兩個理由：能建平台攤提成本、OpenAI 是野心最大的夥伴，而且雙方對平台的看法一致。
7. 14:51合作的時機與信心主持人問早期投資為何做得下去；Kevin 說公司內意見分歧，這是「no regrets」的投入，並提到 OpenAI 的 compute 圖表：從 2012 年到 2018 年左右，訓練頂尖模型用的算力基本上每年成長 10 倍。
8. 17:43超級電腦與 NVIDIA第一個 AI supercomputer 從 2019 年開始做、年底部署，是 GPT-3 的訓練環境；NVIDIA 是長期的運算與網路夥伴，Hopper 正在大規模部署。
9. 20:08閉源與開源模型Kevin 認為兩者會並存，自家產品用的是一組模型；最大的疑問在開源社群如何處理 responsible AI 與安全，Kevin 自己在玩 Databricks 的 Dolly 2.0。
10. 21:59copilot 堆疊先做 GitHub Copilot 這種輔助工具，再整理出一整套堆疊：介面、plugin、orchestration、meta prompt、RAG 與安全過濾，企業還要顧資料隱私。
11. 26:20生態系與 MSRKevin 說沒有一家公司做完所有有用的東西，社群會做出大部分；Microsoft Research 很多研究者轉向 AI，很像 2001 年 Kevin 在那裡實習時的氣氛。
12. 27:39ChatGPT 的意外與步調Kevin 說沒想到 GPT-4 與 ChatGPT 會帶動這麼多事；進展太快，連自己都覺得不在掌控中，對 machine learning 團隊尤其辛苦。
13. 30:32大公司怎麼採用模型和基礎設施都不是產品；有趣的產品是從不可能變成困難的，並用智慧型手機早期 app 說明。
14. 34:29書與 AI 普及書是寫給像家鄉那樣的人，Kevin 認為用工具的門檻一直降，2003 年要讀一疊論文、寫半年程式的分類器，現在高中生週末花四個小時就能做完。
15. 38:29公共討論缺了什麼Kevin 覺得討論偏重 responsible AI 與法規，漏掉用 AI 解決教育等問題；主持人補充 Benjamin Bloom 的 two sigma 研究，Kevin 說悲觀不會帶來樂觀的結果。
16. 42:1020 年後的工作主持人問該給孩子什麼建議；Kevin 說預測 20 年很難，但會動到實體世界的職業（醫療、電工等）會更缺人，創意工作的需求也只會更多，因為人想看的是人。
17. 47:16今年的展望Kevin 預期今年是 foundation model 部署的第一年，Microsoft 的產品互動方式年底會很不同，開源模型也會有進展，多模態模型將更普及。
18. 50:41監管與安全談到 Sam Altman 在參議院作證；Kevin 認為科技界要先在監管之前凝聚共識，並用電力的安全規範比喻。
19. 52:47安全落在部署層Kevin 說重點是把部署的要求與期待定對，最大的 foundation model 要有安全措施，模型上面還有每個應用各自的安全層；結尾主持人稱讚業界很早就自主處理安全，Kevin 說雖然跟這些公司激烈競爭，但並不擔心對方做出不安全的事。

值得記的話5 句

• there's never been a platform or ecosystem where one company builds all of the useful things從來沒有哪個平台或生態系，是由一家公司做出所有有用的東西26:20

• models aren't products and infrastructure isn't a product模型不是產品，基礎設施也不是產品31:04

• pessimism doesn't doesn't get you to optimistic outcomes悲觀不會帶你走到樂觀的結果41:25

• humans are just extraordinarily good at wanting to put humans at the center of their stories人類特別擅長把人放在自己故事的中心45:05

• I suspect that this year like the next trillion dollar company gets founded我猜下一家兆元級公司今年就會成立；這是 Kevin 跟 Sam Altman 常聊的話題48:35

名詞與人物10 個

Kevin Scott

Microsoft CTO，本集來賓，2020 年出版 Reprogramming the American Dream。

transfer learning

同一個模型用一組資料訓練後可拿去做多種用途；Kevin 說它在語言上開始有效，是 Microsoft 全力投入的轉捩點。

copilot stack

Kevin 的說法：像 OSI 網路分層的一整套結構，從介面、plugin、orchestration 到安全過濾。

semantic kernel

Microsoft 自己開發並開源的 orchestration 工具。

LangChain

Kevin 舉例的熱門開源 orchestration 工具。

meta prompt

給模型的常駐指示，讓它貼合應用情境。

RAG

retrieval augmented generation，把情境注入送給模型的 prompt。

Hopper

NVIDIA 的 GPU，Kevin 說正在大規模部署，其中的 8-bit floating point 是規劃已久的功能。

Dolly 2.0

Databricks 的 12 billion 參數模型，Kevin 說可在單機上順暢跑。

two sigma problem

家教式個別指導的學生表現明顯優於一般班級的研究結論，由 Benjamin Bloom 提出。

提到但沒有展開

• Kevin 說 ChatGPT 發布時是一個 10 個月大、只加了一點 RLHF 的模型，介面也不漂亮，只是為了在 GPT-4 前先累積一些經驗。
• Kevin 提到工業革命時預測的每週只工作四小時、過著悠閒日子並沒有發生，並認為一部分原因是人其實喜歡做事。

在 YouTube 看原片 ↗