RunPod 五分鐘部署 LLM 端點

概要

• GPU 雲端的定位Audry Hsu 說 RunPod 是自己擁有硬體與 GPU 的 AI 雲端公司，開發者自帶程式碼，其餘由 RunPod 處理。私有模型或 Hugging Face 上的開源模型都可以部署。
• 要解決的三件事Audry 列的是基礎設施難管理、GPU 取得又慢又不透明，以及開發者的重心應該放在做應用而不是管基礎設施，並提到目前 GPU 全球缺貨。
• 從地下室起家兩位創辦人在 2022 年有幾台挖礦失敗的 GPU 主機，放到 Reddit 邀人免費試用並回饋意見，公司就這樣開始。Audry 說這個與社群互動的習慣到現在沒變。
• 四種使用方式Pods 是沙箱容器，Serverless 是自動擴縮的產品，Clusters 是多節點訓練叢集，Hub 則是預先設定、審核過的 AI repo 集中處。
• Serverless 的賣點不必事先估算算力，可設定最大 worker 數、花費上限與常駐 worker；閒置時 worker 縮回去，不收費。
• 現場示範結果從 Hub 部署 LLM 後送出請求，在佇列等了約 41 秒，主要是冷啟動；執行時間只有約一秒半。Audry 估計整個過程不到五分鐘。

原話

• “you bring your code and we'll bring the rest”

  你帶程式碼來，其餘的我們處理

  ▶ 00:34

• “GPU access is slow and opaque.”

  GPU 取得又慢又不透明

  ▶ 01:27

• “builder primary focus should be building”

  開發者的重心應該放在建造上

  ▶ 01:57

• “the origin story of Rumpod has always started with builders and getting feedback from the community”

  RunPod 的起源一直是從開發者與社群回饋開始的；引文裡的 Rumpod 是字幕對公司名的拼法

  ▶ 02:48

• “execution time only about one and a half seconds”

  執行時間只有約一秒半

  ▶ 11:55

延伸

• Audry 認為 GPU 缺貨會隨市場成熟而緩解：等客戶與公司更會估算自己需要多少算力，就不會像疫情時搶衛生紙那樣一窩蜂搶。
• 當天稍晚另一場以 Python flash SDK 為主、全程在終端機操作，會把程式碼當成遠端函式部署到 GPU，再做成可上線的端點。