Google Cloud

037 · Google Cloud 怎麼帶客戶上手生成式 AI

32:34YouTube 上架 2023-10-19Kawal Gandhi（Google Cloud）

No Priors Ep. 37 | With Kawal Gandhi

Google Cloud CTO 辦公室的生成式 AI 負責人 Kawal Gandhi，談客戶從試做原型走到上線的路徑、哪些部門先採用、資料安全，以及 TPU、GPU 與推論的取捨。

037 講了什麼

• 從廣告走到雲端Kawal 原本在 Google 做搜尋與廣告，合作的廣告主一直需要大量儲存與運算，就這樣走進 Cloud，現在做的是生成式 AI。
• 先內部試用再外放最早的應用在 Workspace，像是摘要、個人化、給建議，先在內部 dogfood，看到效率與生產力的提升再陸續對外推出，也就是現在 Workspace 裡的 Duet AI。
• 客戶的採用順序Kawal 說歷來都一樣，拿到 API 先做原型，這股興奮是真的、不是炒作；要部署、管理、監控的時候，組織才會認真思考。用途的順序則是效率、生產力、再到創意，中間靠信任一步步累積。
• 資料與模型留在客戶的租戶Kawal 一再強調客戶的資料、模型、權重就是他們的 IP；所以要想清楚推進的速度、中間設好檢查點，因為出錯之後回滾的代價很高。
• 推論是下一個重點Kawal 說團隊現在想的是推論，模型訓練好、應用上線之後，難題變成怎麼放大規模、同時把成本壓下來；TPU 與 GPU 則是要讓客戶有選擇。
• 工程團隊採用得最快Kawal 說工程團隊用 coding 模型的速度出乎自己意料，接下來要把這種轉變帶到各個垂直領域。

從哪一段開始看16 段

1. 00:00開場與來時路Sarah 介紹這集與 Elad 一起訪問 Kawal。Kawal 從搜尋與廣告走進 Cloud，認為客戶從一開始就是衝著 Google 的機器學習與 AI 而來。
2. 02:21Workspace 裡的先行者內部先在文件與 email 試摘要、個人化與建議，再對外推出；之後延伸到簡報的圖片建議與生成、email 生成，Kawal 也舉了替媽媽翻譯成 Hindi 的例子。
3. 05:18模型與平台的層次從 AI 基礎設施、model garden 裡的領域模型，到 Llama、Stable Diffusion 這類開源模型；Kawal 認為接下來幾季的差異化在資料安全與 model ops。
4. 07:07企業的採用順序主持人轉述 Braintrust 的 Ankur Goyal 的觀察：企業常直接跳去 fine-tune，才回頭用 API 驗證。Kawal 則說大家先做原型，到了部署才認真處理管理與監控。
5. 08:58何時自己訓練模型回答 Sarah 的問題：要看組織成熟度、有沒有懂模型的團隊，以及護欄、用途與成本；也會從董事會、策略與文化轉型的角度跟客戶討論。
6. 10:00效率、生產力與信任Kawal 把用途分成效率、生產力、創意三階段，信任隨之提高，最後把人力釋放出來做創意，也提到未來的 agent。
7. 12:05哪些部門先用先從銷售與行銷開始，內容製作與分發的效率立刻看得到；再來是客服，以及員工內部體驗，例如查 HR 福利。
8. 13:25文字之後的多模態目前核心仍是語言與文字，多模態還在早期；Kawal 提到 deepfake、安全層與儲存成本，並以遊戲產業為例。
9. 15:01成功客戶的樣子Kawal 認為關鍵不在技術，而在客戶把自己定位成開創者還是快速跟隨者；過去昂貴的模型與平台正在變便宜，GCP 生成式 AI 認證已有 more than 10,000 人。
10. 17:27資料安全與踩雷Kawal 說談不上犯錯，但很重視客戶的資料：adapter model、憑證都留在客戶租戶，也要設檢查點避免推太快，回滾代價很高。
11. 19:01各垂直領域與工程團隊Kawal 說各領域都還早，工程團隊用 coding 模型的速度出乎意料；主持人補充創業圈也是開發者先替自己做、中型公司次之。
12. 21:23助手該住在哪裡Kawal 認為現在是在文件裡，未來文件可以主動給建議；規模放大時要顧護欄、權限與 logging。
13. 22:58TPU 與 GPU主持人談 Google 自研 TPU 的由來。Kawal 說目標是讓平台把底層抽象掉、提供選擇，在意的是有多少人懂得直接用；主持人補充，自己認識很會用 TPU 的人多半在 Google。
14. 25:08推論是下一步Kawal 說團隊現在想的是推論：應用上線之後怎麼放大規模、同時讓成本曲線往下走，並舉 Character.AI 為例。
15. 26:47GPU 短缺與模型選擇Kawal 說短缺一定會被提起，但談話很快轉向資料安全與部署；新的模型出來，例如 Llama，Google 也要讓客戶在 model garden 用得到。
16. 29:54最期待的工作和客戶一起做下一代多模態體驗，並考慮提供更多共享資料集與合成資料；資料標註等服務則透過合作夥伴整合。

值得記的話4 句

• it's always the case if you look in history it's like hey I got an API I can build a prototype and it creates a lot of excitement回頭看歷史都是這樣：嘿，我拿到一個 API，可以做個原型，然後就帶來一大堆興奮07:38

• all of their data all of their models all of their weights that's like their IP他們所有的資料、所有的模型、所有的權重，那就是他們的 IP17:59

• I'm seeing engineering adopted much faster internally now我現在看到工程團隊在內部採用得快多了19:16

• having optionality is what we want to kind of bring forward constantly我們想一直提供的，就是選擇24:36

名詞與人物8 個

Kawal Gandhi

Google Cloud CTO 辦公室的生成式 AI 負責人，之前長期做搜尋與廣告。

Duet AI

Google Workspace 裡的生成式 AI 功能，先在內部試用再對外推出。

model garden

Google Cloud 上放各種模型的地方，有領域模型，也有開源模型。

Med-PaLM 2

主持人提到的醫療領域模型，Kawal 說還在早期。

adapter model

客戶在平台上微調得到的模型，Kawal 說和憑證一樣都留在客戶的租戶裡。

TPU / GPU

Google 自研的 AI 晶片與常見的 GPU，Kawal 說要讓客戶有選擇。

inference

模型訓練好之後的推論，Kawal 說是團隊現在的重點。

Character.AI

Kawal 舉的例子，正在想辦法把應用的規模放大。

提到但沒有展開

• Kawal 說 Google Cloud 透過合作夥伴生態系提供標註等服務，例如 RLHF，已經整合進平台，資料管線與權限都留在客戶自己的專案裡。
• Kawal 說也在研究合成資料，讓受管制產業補上缺的那塊資料。

在 YouTube 看原片 ↗