從 Copilot 到 Minion 的路 · No Priors 筆記

010 · 從 Copilot 到 Minion 的路

41:40YouTube 上架 2023-04-25Alex Graveley（Minion.AI）

前 13 集的上架日是頻道補檔的日子（2023 年 4 月底一次補上），不是當初播出的日期，所以跟集號的先後對不起來。

No Priors Ep. 10 | With Copilot's Chief Architect and founder of Minion.AI Alex Graveley

Alex Graveley 回顧自己從 Linux、Hackpad、Magic 一路做到 Copilot 的經過，講 Copilot 早期怎麼測試模型、為什麼速度最關鍵，以及為何接著做能替人辦事的 Minion。

010 講了什麼

從開源到創業Alex 十四歲左右迷上 Linux，做了很多年開源。離開 VMware 後先做教育新創，九個月後放棄，接著把 Etherpad fork 成 Hackpad，起因是同住一個倉庫的 Burning Man 朋友要協調大型專案。
Magic 是一堂人性課Magic 做文字形式的個人助理，背後幾乎全靠人力 24 小時輪班。Alex 在那裡用聊天紀錄訓練了一個小模型，在輸入框顯示灰字建議讓助理修改後送出，算是自己第一個上線的 AI 產品。
Copilot 從一個不太行的模型起步OpenAI 丟來一個只會 Python 的小型微調模型，團隊先自己設計測試來摸清它的能耐；後來在 in-the-wild 測試的通過率從不到 10% 升到超過 60%。
UI 試了一輪才定下來上層原本想做 Stack Overflow 的對手，後來改做 VS Code 的自動補全，按鈕、側邊清單都試過。最後定案的是灰色的 ghost text，一次補完整個區塊；關鍵的領悟是程式設計師以區塊為單位在思考。
速度壓過一切Alex 說每慢 10 毫秒，完成的補全就少 1%。印度的補全率偏低，原因是 OpenAI 當時只有德州一個資料中心。
接著做 MinionAlex 想做能替人訂機票、報稅、整理行程的 bot，認為模型夠好後，過去卡住的「連接真實世界」有機會解開。

從哪一段開始看19 段

00:05從 Linux 入行Alex 十四歲左右接觸 Linux，讀了 GPL 之後覺得公開協作很棒，花很多年做開源。
01:13Hackpad 的由來離開 VMware 後先做教育新創，九個月沒結果；後來為了 Burning Man 營隊的專案協作，fork Etherpad 做出即時多人文字編輯器，靠 YC 同期公司擴散，Stripe 用了很多年。
03:53Magic 的人力助理主持人提到 Hackpad 被 Dropbox 收購後 Alex 做了後來的 Paper，問接下來想做什麼；Alex 說想做替人辦事的機器人，於是去了 Magic。那是以人力營運為主的文字助理，等於一堂人在壓力下怎麼行動的速成課。
05:58早期助理為什麼太早主持人談 Clara Labs 等早期的助理新創，背後多是人力、演算法很少。Alex 在 Magic 用助理與使用者的聊天紀錄訓練小模型，在輸入框顯示灰字建議。
08:32加密貨幣的那幾年朋友在做 captcha 市集 hCaptcha，Alex 幫忙推出；之後去做 Signal 用的加密貨幣，目標是 Venmo 等級的使用體驗。
09:18身分與 AI 濫用主持人問身分驗證對 agent 重不重要。Alex 預期會有一段很不舒服的時期，認為該靠立法與防濫用系統，也提到 sock puppet 帳號過濾和 Cloudflare 的指紋辨識。
12:44回到工作與 GitHub在 MobileCoin 期間想捐腎給父親，檢查時發現胸腔有腫塊，2018 年切除大部分右肺；休養很久之後去拜託朋友給份工作，進了 GitHub。
14:22Copilot 的起點OpenAI 與 Microsoft 在談超級電腦的合作，GitHub 看到機會；OpenAI 丟來一個用程式碼微調的小模型，Alex 說那是訓練時的副產物，當時並不好。
16:00怎麼測試模型先自己出 Python 題，再用 pytest 找出被測試呼叫的函式、清空內容讓模型重寫並重跑測試；通過率一路從不到 10% 升到超過 60%。
19:08從 Stack Overflow 到 VS Code上層起初想做 Stack Overflow 的競品，UI 試了幾種都不理想；OpenAI 提議做 VS Code 擴充套件，先做自動補全。
22:53內部推動團隊像 Skunk Works 專案，得說服 VS Code 團隊配合；從開始到公開上線不到一年。
23:55速度是唯一關鍵公開試用期間蒐集數據，發現印度的補全率偏低，原因是資料中心只有德州一處；Alex 說每慢 10 毫秒補全就少 1%。
25:29Ghost text 與多行補全非工程師也開始寫起腳本；團隊改做灰字的區塊補全，並請 Microsoft 提前在歐洲跑 GPU 來服務亞洲。
27:50留存與成本上線後每週 cohort 的留存率高於 50%；成本估計從每月 30 美元降到 10 美元，後來更低。
29:58三到五年後的寫程式主持人問程式會不會大多由 agent 來寫。Alex 認為難以預測，但每個擋在前面的障礙都做得到，例如只審查危險的部分、一點一點加功能並搭配測試。
31:49Minion 想做什麼讓 AI 替人採取行動，例如排行程、訂機票、報稅；Alex 在 Magic 時卡在接不上資料，現在覺得模型夠好了。
35:06為什麼 agent 做得起來程式碼能執行，所以知道成功或失敗；在網路上辦事也有類似性質。Alex 說拆解任務的方式人與 AI 相通，也看好網頁點擊這類尚無人持有的資料。
37:14招什麼樣的人Alex 觀察經驗很多與很少的人都抓得到這項技術，中間那一群還沒跟上，並說這跟年齡無關；難得的是試了十次失敗也不放棄的韌性。
40:33越放大越好多數東西一放大就壞，這些模型卻越大越好；Alex 支持繼續推極限，看再大 10 倍還會冒出什麼，就像蓋大型強子對撞機一樣。

值得記的話5 句

I'm more worried about bad people using new technology to hurt us我比較擔心的是壞人拿新技術來傷害我們10:38
speed is the only thing that matters速度才是唯一重要的事24:11
programmers kind of think in blocks程式設計師大致是以區塊在思考26:32
so that I can do a harder startup這樣我才能去做更難的新創34:49
the crazy thing is that these things work at all瘋狂的是這些東西居然行得通40:18

名詞與人物10 個

Alex Graveley: Copilot 的 chief architect，Minion 的創辦人。
Hackpad: Alex 從 Etherpad fork 出來的即時協作文字編輯器，會標示誰寫了什麼。
Magic: 以人力輪班為主的文字個人助理新創，Alex 在那裡做出第一個上線的 AI 產品。
Clara Labs: 主持人提到的早期排程助理新創。
MobileCoin: Alex 在進 GitHub 前參與的加密貨幣專案。
Copilot: GitHub 的程式碼補全產品，Alex 是 chief architect。
in-the-wild 測試: 下載真實 repo、跑測試、挑出被呼叫的函式讓模型重寫，再看測試是否通過。
ghost text: Copilot 以灰字顯示建議、按 tab 插入的介面做法。
Skunk Works: Alex 形容 Copilot 早期在公司內部低調運作的狀態。
Minion: Alex 現在做的產品，讓 AI 替人採取行動。

提到但沒有展開

ghost text 的念頭來自 Gmail 的灰字自動完成：Alex 很早就迷上那個產品，說那是第一個在真實世界上線的「大型語言模型」，又快又酷，雖然補出來的東西不怎麼好。
Alex 事後才知道，OpenAI 最早丟來的模型是想看看把程式碼加進基礎模型會怎樣的副產物；Alex 認為程式碼對 chain of thought 推理有正面效果。

在 YouTube 看原片 ↗

Minion.AI