把 AI 接進前端的最後一哩

030 · 把 AI 接進前端的最後一哩

38:13YouTube 上架 2023-08-30Guillermo Rauch（Vercel CEO）

No Priors Ep. 30 | With Vercel CEO Guillermo Rauch

Guillermo Rauch 談 Vercel 怎麼看 AI 應用的前端與基礎設施：streaming、bot 與濫用、SEO 與爬蟲的變化，以及 AI 讓 copy and paste 重新值錢。

030 講了什麼

基礎模型是 Cloud 2.0Guillermo 把 foundation models 看成新的 backend，上面會長出一批 AI native 公司，就像過去很多 SaaS 蓋在 AWS、Snowflake 上。Vercel 的 AI SDK 讓開發者不必重造後端，就能接上 OpenAI、Hugging Face、Replicate。
不必訓練模型也做得出產品Guillermo 說做出真正有用的產品，不一定要 train 或 fine tune 模型。要從「這個問題本來就存在，現在有 AI 可以用，會怎麼解」出發，而不是在既有產品上加 AI。
streaming 是 AI 應用的基本需求多數網站的後端都在追求 100 毫秒內回應，AI 有時要 15 到 20 秒才想完。Vercel 的 Edge functions 把運算放在離使用者最近的地方，邊算邊串流回去。
開放的 AI 入口會被濫用很多產品把 AI 接得太粗糙，就算前面有登入驗證，token 還是被人架 proxy 當成免費的 GPT-4 來用，連禁用 AI 的國家也用得到。Vercel 提供 rate limiting、bot detection 與快取來處理。
SEO 的中介可能不再只有 GoogleGuillermo 說 Perplexity 這類即時檢索引擎出現後，也會有「怎麼替它們做 SEO」的問題；加入爬網站行列的人變多，Crux 資料集也顯示流量高度集中在少數網站。
copy and paste 回來了AI 讓複製貼上變得順手，而每多一個套件依賴就多一分供應鏈風險；把程式碼放在自己手上，比較好審查與修補。Guillermo 也說，講究 token 效率已經讓精簡的語法佔了上風。

從哪一段開始看14 段

00:00開場與 VercelSarah 介紹 Guillermo。Vercel 是 web 基礎設施公司，提供 framework、工具與部署流程；ChatGPT 的網站用的就是 Next.js，Under Armour、Nintendo 的流量也由 Vercel 承接。
01:03創辦動機2015 年底動手、2016 年初推出第一批原型，當時剛把公司賣給 WordPress 背後的 Automattic。Guillermo 想替雲端做出 iPhone 那樣的體驗，主張前端才是跟客戶見面的地方。
03:09為什麼做 AIGuillermo 當天使投資人時是 Scale AI 的早期投資人；把 foundation models 稱作 Cloud 2.0，Vercel AI SDK 已經被很多新創拿來用。
05:25AI 產品與 EdgeEdge functions 讓長時間的串流回應更順；SDK 之後要加語音、音訊與圖像生成。template 市集裡爆紅的 Room GPT，用 Replicate 上的開源模型，幾秒就能部署。
07:45先有問題再加 AI從問題出發設計 AI native 產品；Vercel 也把自己當 customer zero，想用 AI 自動化前端工程師每天重複做的表單、UI 與版面。
10:21缺的是觀測工具Guillermo 以 Datadog、Zapier 的 onboarding 為例，說 AI 的 monitoring、testing、feedback 還很早期，卻是 v0.1 就少不了的；現在這批 framework 也會再演進一輪。
14:12agent 與濫用主持人問網路上若滿是代表人與公司的 agent，對 Vercel 有什麼影響。Guillermo 談 OpenAI token 被濫用、bot 偵測，以及怎麼分辨好 bot 與壞 bot。
17:34SEO 與內容授權網站內容的中介可能不再只有 Google，Perplexity 這類檢索引擎也要做 SEO；主持人認為版權與內容授權會需要新工具，Guillermo 預期 API 會同時回傳內容與引用來源。
21:32爬蟲與索引主持人說 agent 需要的網路索引很貴，一兆個網址要保持新鮮。Guillermo 的想法是全面覆蓋交給預訓練，再自己補領域索引；Crux 資料顯示流量集中在前幾千個網站。
24:45走向動態架構靜態生成讓內容上線要等上一小時；Headless CMS 與 Notion 都在加 AI，內容變動愈來愈快、個人化愈來愈多，基礎設施會更動態。
26:34前端工具與 UI 生成React、Svelte、Vue 這些 framework 會留下，變的是生成程式碼的工具；不必每次從白紙開始，也不必人人套同一個紫色模板，工程師的角色會變成挑選與調整。
29:41copy and paste 回來主持人問人類設計的程式語言會不會被機器取代。Guillermo 談 Copilot、套件依賴的風險，以及 UI 為什麼本來就偏好複製貼上，最熱門的 shadcn/ui 就叫大家直接複製。
33:22供應鏈安全與 monorepo主持人問 Snyk、Socket 這類供應鏈安全功能會不會併進開發工具。Guillermo 同意，並談 Turbo 與大型 monorepo：程式碼放進自己手上比較好審查。
35:44機器導向的語言GPT-4 擅長 JavaScript 與 Python，是因為網路上這兩種的資料多，CUDA 就寫得不好；講究 token 效率已經讓精簡的語法更吃香。

值得記的話5 句

I'm not for random acts of AI like just like you know checking a box but creating really useful products我不贊成為了打勾而隨便加 AI，要做的是真正有用的產品05:10
you don't have to train or fine tune a new model in order to create a legitimately useful product要做出真正有用的產品，不必訓練或微調新的模型08:00
you have an Internet that looks the same for everybody或者得到一個每個人看起來都一樣的網路28:39
copy and paste is always better than a bad abstraction複製貼上永遠勝過糟糕的抽象；這是 Guillermo 很喜歡的一句話，不是自己發明的33:06
the ability to be very like efficient with your token usage has definitely favored more terse syntaxes講究 token 用量的效率，確實已經讓更精簡的語法佔了優勢36:45

名詞與人物11 個

Guillermo Rauch: Vercel 創辦人暨 CEO。
Vercel: web 基礎設施公司，提供 framework、工具與部署流程。
Next.js: Vercel 的開源 framework，ChatGPT 的網站就是用它做的。
Vercel AI SDK: 讓開發者接上 OpenAI、Hugging Face、Replicate 等來源、做出串流介面的開發套件。
Edge functions: 把運算放在離使用者最近的地方，用來串流 AI 回應。
Cloud 2.0: Guillermo 對 foundation models 的稱呼：新的 backend，上面會長出 AI native 公司。
customer zero: Vercel 自己先用自家產品，逼自己做出更好的 Next.js 與基礎設施。
Crux: Google 開放的 Chrome User Experience Report 資料集，看得出高流量網站的分布。
shadcn/ui: 目前最熱門的 React UI 做法，作者要大家直接從瀏覽器複製程式碼到編輯器。
Turbo: Vercel 讓團隊更容易採用 monorepo 的工具。
monorepo: 把大量程式碼放在同一個 repo；Guillermo 說寫出最成功軟體的大公司向來這樣做。

提到但沒有展開

Guillermo 希望每個 AI 都學到最新的 Next.js API：現在問 ChatGPT，給的是 2020 年的解法。Vercel 的文件歡迎拿去用，但對靠內容做生意的公司，這會是另一回事。
未來產品可能被要求記錄給使用者的內容出自哪裡，所以 Guillermo 預期現在單純吐文字的 API，會變成同時傳內容與引用來源的雙向串流，介面上也會多出可以展開查看出處的元件。
Guillermo 自己用 Phind（也是 Vercel 的客戶）查開發問題；Casetext 這類鎖定特定知識工作者的搜尋引擎，只需要爬自己領域的網站，網路就變小很多。

在 YouTube 看原片 ↗

Vercel