AWS

078 · AWS 從雲端走到生成式 AI

42:59YouTube 上架 2024-08-29Matt Garman（AWS CEO）

No Priors Ep. 78 | With AWS CEO Matt Garman

Matt Garman 從 2005 年的實習生做到 AWS 執行長，回頭談雲端怎麼說服大企業，再談 AWS 怎麼接生成式 AI，以及晶片與容量的吃緊。

078 講了什麼

• 先做大家熟悉的積木Matt 說 AWS 早期不要求開發者改變寫程式的方式，給的是一台看起來就是 Linux 的伺服器，30 秒拿到，過去可能要等六個月。Lambda、Bedrock 這類比較陌生的服務是之後才加的。
• 專挑最難的客戶去解金融業一開始說內部工作負載永遠不會上雲。Matt 說 AWS 把對方提的合規要求逐項解決，刻意去挑最難跑的：JPMC、美國情報機構都能跑在 AWS 上，其他公司的顧慮就小得多。
• 上雲還在早期Matt 說照多數估計，85% 的工作負載仍在自家機房，光是搬現有的工作負載就還有 10 倍的空間。大型主機、電信、工廠現場是搬得慢的幾塊。
• AI 的三個假設AWS 從三件事出發：客戶在乎安全、不會只有一個模型、企業最有價值的是自己的資料，不想讓資料外流或回灌到模型。Bedrock、Trainium、Inferentia 都是照這個方向做的。
• 晶片與容量短期仍緊Matt 認為半導體廠、記憶體和資料中心都要時間，短期內供給吃緊。AWS 一邊自己做 Trainium，一邊是 NVIDIA 的大夥伴；蓋資料中心則是主動布局與跟著客戶需求走並行。
• 新創與企業的建議Matt 提醒新創別預設永遠有下一輪募資；對企業則認為管理 GPU 這一層不是他們的本業，多半會用平台服務，不會自己蓋。

從哪一段開始看18 段

1. 00:15實習生到 AWS主持人介紹 Matt 在 5 月接任 AWS 執行長。Matt 2005 年在商學院實習時跟 Andy Jassy 談過，對方正在 Amazon 內部起一個還不能透露的技術事業，就是上線前的 AWS；回來全職後算是 AWS 第一位產品經理，現在是第 18 年。
2. 03:22書商為什麼賣運算其他雲端業者要開發者改變蓋應用的方式，AWS 則是提供積木讓開發者自己蓋。這個思路來自 Amazon 自己：2003 年前後內部下令把大型單體系統拆成服務，成功之後才想到別人也會碰到同樣的問題。
3. 04:56熟悉的伺服器登入拿到的就是一台 Linux 伺服器，只是 30 秒就有。S3 的概念也不陌生，Lambda、Bedrock 這些比較不一樣的服務是後來才加。
4. 06:45大企業的懷疑主持人回想直到 2010、2015 年，大型金融業還覺得雲端在安全、成本、可靠度都比不上自己。主持人也算了 AWS 營收：2010 年約 500 million，去年約 90 billion。
5. 08:48專挑最難的工作負載Matt 回憶 2008 或 2009 年去紐約拜訪 Goldman Sachs、JPMorgan 這些金融業，對方說內部工作負載永遠不會上雲。AWS 花了十年把合規要求逐項解決，新創與大企業兩邊同時做。
6. 11:06還有 10 倍空間85% 左右的工作負載仍在自家機房。Matt 也講了贏得情報機構合約的轉折：合約原本保密，對手 IBM 提告後公開，反而成了背書。
7. 12:41搬遷的阻力大型主機要現代化而不是原封不動搬上去，SAP 這類系統牽連很多，電信與工廠的工作負載也慢；還有人的抗拒。
8. 14:29AWS 怎麼看生成式 AIAWS 投資 AI 約 10 年，自己做晶片與模型。OpenAI 讓大家看到可能性之後，AWS 改從「讓每家公司都能用這些技術來蓋」出發，提出三個假設。
9. 18:08自家模型與合作模型主持人問自家模型有多重要。Matt 說重要但不是關鍵：Titan embeddings 是 Bedrock 上最多人用的 embeddings 模型；Anthropic 的 Claude 是現在表現最好的模型，Meta 的 Llama 3.1 也在發布當天上線。
10. 20:43開源與不鎖客戶主持人轉述 AWS 老將 Alyssa Henry 的話：AWS 從開源賺的錢，比任何開源公司都多。Matt 說 AWS 把開源專案做成託管服務，希望客戶是因為想用才留下，不是被授權綁住；Aurora 與 PostgreSQL 完全相容就是例子。
11. 22:52Bedrock 的組件主持人問除了模型還有哪些積木。Matt 談到 knowledge bases、guardrails、agent 工作流、微調與蒸餾，並提到與 Scale AI、LangChain 的合作。
12. 26:16晶片與容量Matt 認為短期仍吃緊，晶圓廠、記憶體、資料中心都要時間。AWS 近四五年都是最大的新再生能源買家，也做 Trainium；Matt 說 NVIDIA 自己的 AI 訓練叢集就跑在 AWS 上。
13. 29:27資料中心怎麼投資面對動輒要吉瓦級電力的大模型客戶，AWS 主動布局與跟著客戶走並行：土地和電力這類需求變了還能轉作他用的先投，伺服器與晶片看近期的供應鏈；給大額長約的客戶有較好的價格。
14. 31:32給新創的建議Matt 說新創倒閉只有一個原因，就是錢燒完，別以為一定有下一輪。並講到自己第一次創業募了 $27 million、約 18 個月燒完。
15. 33:38價值落在哪一層主持人問價值是否全流向運算供應商或模型商。Matt 認為現階段多數流向 NVIDIA，因為還在週期早期；之後會是能解決真實問題的應用層。
16. 36:31企業自建平台會重演主持人說大企業又在說沒人滿足需求、要自己蓋平台。Matt 認為這跟過去一樣，多數企業不會想自己管 GPU，平台成熟後就會改用。
17. 39:08未來三到五年Matt 說生成式 AI 也能讓上雲更快，AWS 要把底層抽象掉，讓推論像運算、儲存一樣成為應用的標準積木。
18. 41:46為什麼還做新創主持人問為何營收這麼大還花力氣在新創身上。Matt 說新創是 AWS 成長的命脈，學到很多，之後只會更投入。

值得記的話5 句

• 85% of workloads are still running on Prem today by most estimations照多數估計，今天仍有 85% 的工作負載跑在自家機房11:06

• if I had an easy button that would just migrate Main frames to a modern Cloud architecture today almost everyone will push that button如果我有個一鍵按鈕，能把大型主機搬到現代雲端架構，今天幾乎每個人都會按12:56

• in order for the math to work out inference workloads have to dominate這筆帳要算得過來，推論工作負載就必須占大宗29:10

• the only reason that any startup goes out of business because they run out of money新創倒閉的唯一原因，就是錢燒完32:37

• if you go use Bedrock models today you never interact with the GPU今天用 Bedrock 的模型，你完全不會碰到 GPU40:11

名詞與人物9 個

Matt Garman

AWS 執行長，2005 年以實習生身分加入，回來後是 AWS 第一位產品經理。

Bedrock

AWS 讓客戶取用各家模型並搭配其他組件來蓋生成式 AI 應用的平台。

Trainium

AWS 自己做的晶片，Matt 說部分工作負載在上面跑得更好也更便宜。

Inferentia

AWS 自己做的推論晶片。

Titan

AWS 的自家模型，其中 Titan embeddings 是 Bedrock 上最多人用的 embeddings 模型。

Aurora

AWS 的託管資料庫，Matt 說與 PostgreSQL 完全相容，用來說明不鎖客戶。

SageMaker

AWS 的機器學習平台，Matt 舉例說企業不必自己管 GPU，可以用它。

guardrails

Bedrock 的功能，用來限制 AI 系統不要亂給金融建議或談不該談的主題。

knowledge bases

Bedrock 對 RAG 與知識庫的做法，提供一套有依據的資料來源。

提到但沒有展開

• Matt 也提到專用模型，例子是 Adobe 的 Firefly，整個建在 AWS 上。
• Matt 說有客戶想把模型蒸餾得夠小，放到工業邊緣設備上，蒸餾與模型評估還有很長的路線圖要走。

在 YouTube 看原片 ↗