用開源模型加 Hub 工具組一個 AI 工程師

概要

• 開源的好處是沒人能悄悄改你的模型Merve 說東西全在手上，效能就不會在你不知道的情況下退步；有權重還能量化、微調，部署到邊緣裝置也能保住終端使用者的隱私。
• 開源模型已經追上閉源Merve 自己的 coding 環境用的就是 GLM 5.1，並拿 artificial analysis intelligence index 的圖說明開源與閉源的差距已經接上。
• 挑模型、跑 agent 的入口都在 Hubbenchmark datasets 可以直接比模型，Inference Providers 能比價格與速度，還有 tool use 欄位可以挑適合 agent 的模型；本機端 Merve 提到 Pi 搭配 llama.cpp，以及 Hermes Agent。
• Traces 與 Skills 把 Hub 接進 agentHub 新增 Traces 這種 dataset repo 類型，可以存 agent 的工作紀錄；Hugging Face 的 skills 讓 coding agent 管理 repo、跑 jobs、訓練模型、做 demo。
• 一句話叫 agent 去訓練模型Merve 示範請 Claude Code 訓練一個視覺語言模型，agent 會自己估算 VRAM、問幾個問題，然後送出 job，最後模型就出現在 Hub 上。
• MCP 與 jobs 串成完整流程同事 Nils 全靠提示，用 Codex、開源 OCR 模型與 jobs 替 Hub 上的論文做 OCR，Merve 說規模約 30,000 篇，從挑模型、寫處理程式到架設服務都交給 skill。

原話

• “if you have everything in the open nothing changes without you knowing”

  東西都是開放的，就不會有任何改動是你不知道的

  ▶ 01:25

• “absolute guaranteed privacy for your end user because you can deploy it to edge devices”

  對終端使用者來說是百分之百的隱私保證，因為可以部署到邊緣裝置

  ▶ 01:44

• “the latest GLM 5.1 is absolutely crushing it and I'm actually using it in my coding setup”

  最新的 GLM 5.1 表現超強，我自己的 coding 環境就在用

  ▶ 02:01

• “Hermes agent and I will just die on this hill”

  Hermes Agent 這個立場我死也要守

  ▶ 07:37

• “launches the job which to me is absolute sci-fi still to this day”

  送出 job，對我來說到現在仍像科幻

  ▶ 14:12

延伸

• 替論文做 OCR 的起因：Hub 上的 AI 論文很多沒有 markdown，沒辦法建索引讓人對論文提問。
• Hub 的 apps 篩選涵蓋 LM Studio、llama.cpp 這類本機服務工具，模型頁的「use this model」會直接給出用這些工具啟動的指令。
• Merve 觀察到各家實驗室開始在第一天就讓模型帶視覺能力，例如 Gemma 4 是 Omni 模型，Kimi K2.5 也是視覺語言模型。