在 IDE 裡直接部署 GPU 雲端推論

概要

• 基礎設施吃掉開發時間Audry 說很多團隊花在基礎設施的時間比花在模型上還多，像 CUDA 版本對齊、PyTorch 版本搭配、新 GPU 型號有沒有測過。RunPod 想把這些設定問題拿掉。
• 產品線依用途分Pods 是隨租隨用、按秒計費的 VM，GPU 在跑的期間都是你的；Serverless 依請求量自動擴縮、沒請求就縮回去，不付閒置的錢；Clusters 用在多節點訓練；Hub 放已經審過的開源 AI repo。
• Flash 要砍掉的迭代循環平常改一次推論程式，要 commit、push、建 Docker image、從 registry 拉下來、放上伺服器再配 GPU。Flash 是 RunPod 的 Python SDK，讓函式直接從本機環境部署到 GPU 上。
• 一個 decorator 加熱重載普通的 async Python 函式加上 Flash endpoint decorator，就會被打包部署到 GPU 雲端。主程式與輔助函式留在本機跑，需要 GPU 的部分跑在雲端，改了程式碼會立刻重新打包。
• 現場換模型Stable Diffusion XL Turbo 生出來的貓不理想，Audry 直接改成 DreamShaper，調高推論步數後重送同一個請求，全程沒離開 IDE。
• 計費與選擇建議Serverless 只算每個請求跑的時間，單價比 Pods 稍高。還在實驗階段建議先用很少的 worker 或直接用 Pods，需要上百張 GPU 分散在不同資料中心時才換 Serverless。

原話

• “we want to eliminate all of that iteration cycle”

  我們想把那一整圈迭代流程都拿掉

  ▶ 06:18

• “you have a regular async Python function, you add our Flash endpoint decorator”

  一個普通的 async Python 函式，加上我們的 Flash endpoint decorator

  ▶ 06:54

• “all of this is happening right here from my IDE and I never have to leave”

  這一切都在 IDE 裡完成，我不用離開

  ▶ 14:13

• “you're only charged for how long that request is running”

  只依請求實際跑的時間計費

  ▶ 17:01

• “when you're experimenting, you might only need a limited number of GPUs”

  實驗階段可能只需要有限的幾張 GPU

  ▶ 18:19

延伸

• Audry 說 Serverless 單價比 Pods 稍高，因為多了自動擴縮，建議依 GPU 數量決定，實驗階段一次只要一兩張時先用 Pods。
• 三段式管線的最後一步，Audry 把兩位創辦人的參考照片交給 Nano Banana 2 合成，成品放在 Qwen3 改寫的 prompt 與 DreamShaper 的生圖旁邊對照。