把 AI 整套搬到自己的 Mac 上

概要

• 從一個承諾開始Prince 說 2020 年自己的父親失明，答應要讓父親重新能讀、能接收資訊；也認為雲端運算解決不了所有這類情境，所以相信 on device 是未來。
• MLX 是 Apple Silicon 的陣列框架Prince 在 2023 年於 GitHub 上看到 MLX，形容成 Apple Silicon 版的 PyTorch 或 TensorFlow，並說三年後下載數超過 150 萬、移植的模型超過 4,000 個，並與前沿實驗室合作提供開源模型的 Day Zero 支援。
• 視覺、語音、影片各有一套工具MLX VLM 做視覺、MLX Audio 做文字轉語音、語音轉文字與語音對語音，另有 MLX Video。Prince 提到語音套件同時支援 Python 與 Swift，也可以把辨識、語言模型、語音合成三段自由組合。
• 現場 demo 全部在本機跑即時影像偵測、背景模糊、用 Gemma 4 描述圖片，Prince 都說是在斷網下於自己的 Mac 上執行；Swift 的 demo 沒跑起來。
• 社群專案是重頭戲Prince 展示聽眾做的會開口說話的 app、離線的影片分析與用本機生成的卡通，最後以機器人收尾，並說今天就能在 iPhone、iPad、Mac 甚至機器人上做出能聽能看能說的 agent。
• Q&A 談到限制與 TurboQuantMLX 用的是 GPU 而不是 Neural Engine；本機模型的表現還追不上最強的雲端模型；Prince 說自己很早就實作 TurboQuant，可把 KV cache 縮小 4 倍。

原話

• “There's a future that was promised for all of us that all of the big companies like Meta and Google could not really deliver”

  有一個曾經承諾給所有人的未來，Meta 與 Google 這些大公司沒能兌現

  ▶ 02:44

• “You can now run models of hundreds of billions of parameters even on your initial M1 MacBook.”

  現在連初代 M1 MacBook 都能跑數千億參數的模型

  ▶ 04:40

• “you can build agents that can hear see and sound just like you or one of your loved ones”

  你可以做出能聽、能看，聲音像你或你所愛的人的 agent

  ▶ 16:37

• “MLX uses the GPU, not the neural engine.”

  MLX 用的是 GPU，不是 Neural Engine

  ▶ 17:23

延伸

• Prince 提到團隊有內部專案可以在 GPU 與 Neural Engine 之間做混合推論，要等 Apple 解決私有 API 的問題，沒有說明做法與時程。
• 想做語音輸入 app 的人，Prince 建議直接叫 coding agent 讀 MLX Audio 自己做一個，說大概 10 分鐘就有。
• TurboQuant 的公開結果裡，Prince 指出 context 到 30 萬時吞吐量幾乎翻倍。