Replit 的 AI 寫程式路線 · No Priors 筆記

033 · Replit 的 AI 寫程式路線

29:38YouTube 上架 2023-09-21Amjad Masad（Replit CEO）

No Priors Ep. 33 | With Replit's CEO & Co-Founder Amjad Masad

Amjad Masad 談 Replit 怎麼從瀏覽器裡的寫程式環境走到 Ghostwriter，為什麼自己訓練 3B 模型、怎麼看 Llama 與開源，以及 bounties 和程式碼經濟的設想。

033 講了什麼

Ghostwriter 的由來Amjad 一路做處理程式碼的工具，覺得傳統工具太死板，讀到 2012 年那篇討論程式碼可以像自然語言一樣建模的論文後，一直在等模型夠好。GPT-3 出來後，Replit 開始做 Ghostwriter，包含說明程式、產生程式、autocomplete 與聊天。
模型外圍與訓練方式都還有得做Amjad 認為還在很早期，要補的是 context、讓模型能讀檔、裝套件、執行程式的工具層，以及把執行結果也拿來訓練。依 Replit 的研究，寫程式本身大約有 30 到 50 percent 的生產力提升；目前受惠最多的是本來沒有能力自己創業的初學者。
agent 的時程Amjad 說以目前的能力，6 到 18 個月內可以做出基本的 agent 體驗，例如交代「做一個登入頁」，給出夠用的起點。現在還在 GPT 模型的 demo 時代，基礎建設才是難處。
自己訓練模型的理由商業 API 又貴又慢，也沒有 completion 模型，所以 Replit 訓練了 3 billion 參數的模型當 autocomplete 用，並把 base model 開源。Amjad 認為該從產品與用戶需求出發，不是為了榮譽或 benchmark 訓練模型。
Llama 與開源的未來Amjad 向 Zuck 提過「commoditize your complement」的想法，覺得 Meta 的作法合理，但對業界參與度偏低感到意外。主持人則擔心 Meta 若停手，缺的是人才而不只是資金與勇氣。
bounties 與程式碼經濟Replit 的 bounties 讓世界各地的人接案賺錢。Amjad 想讓開發環境內建貨幣，支援按函式計價、staking，甚至讓 agent 自己賺錢花錢。

從哪一段開始看13 段

00:00Replit 的起點主持人介紹 Replit 與 Amjad。Amjad 在大學時因為受不了設定開發環境，做出能在瀏覽器裡寫程式的網頁，後來進了 Codecademy 與 Facebook，2016 年決定正式創辦 Replit。
02:26Ghostwriter 的由來Amjad 一直覺得處理程式碼的工具太死板，讀到 2012 年的論文後相信可以用機器學習做。GPT-3 出來後做了說明程式、產生程式、autocomplete 與聊天，合稱 Ghostwriter。
04:46下一波生產力要做的是模型外圍的 context 與工具，也要用執行結果訓練模型。依 Replit 的研究，寫程式本身的生產力約提升 30 到 50 percent，目前受益最多的是初學者。
08:13agent 與軟體的樣子在現有能力下，6 到 18 個月內可望做出基本 agent；三到五年後，程式設計師可能更像管理 AI 員工的工程經理。
10:06用戶與資料優勢主持人問 22 million 用戶是否形成資料護城河。Amjad 認為不宜高估，真正的優勢是從寫程式、部署到線上出錯的完整平台，不是單純的使用者回饋。
12:09為什麼自己訓練模型商業 API 又貴又慢，也沒有 completion 模型。Replit 選 3 billion 參數當甜蜜點，開源 base model，並提醒創辦人別把訓練模型當面子。
14:47Llama 與 Meta主持人問 Meta 不再開源會怎樣。Amjad 在 2022 年初發現用商業 API 做不出想要的產品，後來找 Zuck 提了 open compute 的類比，並認為 AI 安全的爭議讓其他公司不願碰開源模型。
17:52開源誰來撐主持人認為錢夠、缺的是人才，並舉過去開源浪潮都有大公司贊助為例；Amjad 補充架構變複雜後會更難開源。
19:59bountiesAmjad 說 bounties 是為了讓各國不為人知的程式人才賺到錢，也想驗證「略懂程式的人加 AI」可以做出像樣的作品。
22:09內建貨幣的平台Amjad 認為開源社群用 star 當貨幣是假的，想讓平台內建貨幣，按函式計價；agent 未來也能賺錢花錢，甚至有自動化的 bounty hunter。
24:52完整專案的資料Amjad 指出程式碼資料缺的是從專案規格到成品的完整配對，Replit 手上有這類資料。
25:24大學生的態度主持人提到所辦 hackathon 裡的大學生，覺得不必學架構，出問題就找另一個 agent；Amjad 肯定這種「用到再學」的駭客態度。
26:44支付與 stakingAmjad 說 Stripe 或 Bitcoin 能解決就用哪個。設計 bounties 時想過讓人 staking 自己的承諾，形成市場機制。

值得記的話5 句

we're in the demo era of GPT models right now我們現在還在 GPT 模型的 demo 時代08:13
you're just like working with employees and those employees are mainly AI你就像在帶一群員工，而那些員工主要是 AI09:49
the real advantage of Replit is actually just a platform, just the end-to-end platformReplit 真正的優勢其實就是平台，端到端的平台10:52
it's important to start from a product and start from a user and customer need重要的是從產品出發，從用戶與客戶的需求出發14:15
the currency in open source is sort of stars開源世界的貨幣大概就是 star22:09

名詞與人物10 個

Amjad Masad: Replit 的 CEO、共同創辦人兼 head engineer。
Replit: 瀏覽器裡的開發環境與部署平台，開場介紹說有超過 22 million 用戶。
Ghostwriter: Replit 的 AI 功能，包含說明程式、產生程式、autocomplete 與聊天。
On the Naturalness of Software: 2012 年的論文，發現程式碼可以像自然語言一樣建模，對 Amjad 影響很大。
completion model: 補全文字的模型；Amjad 說商業 API 不再提供，所以自己訓練。
3 billion 參數模型: Replit 為 autocomplete 訓練並開源 base model 的模型，Amjad 說 1 billion 太笨。
bounties: Replit 上讓開發者接案賺錢的市集。
open compute project: Zuck 當年推的專案：不靠賣雲端賺錢的公司把資源湊在一起，合作優化資料中心的電腦。Amjad 拿它向 Zuck 類比 LLM。
commoditize your complement: Amjad 用來解釋 Meta 開源 LLM 的商業策略。
staking: Amjad 設想讓人押上資金承諾完成任務，失敗或延遲就被扣款。

提到但沒有展開

Amjad 認為只學靜態程式碼的模型懂結構與語法、不懂語意；除了餵執行結果，也可以讓模型學編輯器、除錯器這些程式碼周邊的操作。
Amjad 提到 Replit 上有創業者今年稍早還不會寫程式，幾個月後就做出 quarter million ARR 的新創。

在 YouTube 看原片 ↗

Replit