Stripe 怎麼把 LLM 推進公司

050 · Stripe 怎麼把 LLM 推進公司

39:25YouTube 上架 2024-02-08Emily Glassberg Sands（Stripe）

No Priors Ep. 50 | With Stripe Head of Information Emily Glassberg Sands

Emily Glassberg Sands 講 Stripe 怎麼從三位工程師三週做出的內部工具起步，做到 Radar assistant 與 Sigma assistant，也談 AI 新創跟前幾波新創有什麼不同，以及勞動經濟學背景怎麼影響自己做資料的方式。

050 講了什麼

先把 LLM 交到全公司手上Emily 說三位工程師用三週做出內部 beta「LLM Explorer」，一個後端可接多種模型的 ChatGPT 式介面，幾天內就有三分之一的 Stripe 員工在用。現在每週活躍使用者還有將近 3,000 人，將近公司的一半。
用 presets 養出社群LLM Explorer 加了可以儲存、分享、投票的 presets，一夜之間冒出大約 300 個可重複使用的用法。Emily 舉的例子是 Stripe style guide：把文案丟進去，就會改寫成 Stripe 的語氣，至今還有好幾千人在用。
accelerator 負責新的 AI 嘗試Stripe 圈出一到兩個 pizza 規模的小團隊，由 CTO 辦公室出資 6 個月。LLM Explorer 就是 accelerator 做出來的，成員多半是在 Stripe 待了很多年、輪調過來的人。
對外的應用先從寫程式與找資訊下手Radar assistant 讓使用者用自然語言產生詐欺規則，Sigma assistant 讓不會 SQL 的人用自然語言查自己的 Stripe 資料，兩者都在 beta、準備全面開放。
想成為使用者的經濟作業系統Emily 提到也許能用金融資料訓練一個 foundation model，大幅超越現有的轉換、詐欺與成本優化模型；也想做定價與折扣建議，以及比 CPI 更即時的總體訊號。Emily 說這些都還偏向未來。
AI 新創的需求不一樣Emily 列出四點：一開始就有大筆運算成本、第一天就有全球需求、偏重訂閱制，以及很早變現、得用很精簡的團隊經營成像樣的公司。Emily 說過去一年 Stripe 上的 generative AI 公司數量暴增。

從哪一段開始看16 段

00:05Emily 在 Stripe 的角色Elad Gil 介紹 Emily 是 Stripe 的 head of information，之前在 Coursera 帶 data science。Emily 2021 年加入，現在身兼兩職：支援全公司用資料的團隊，以及負責小型企業與新創的自助服務業務。
02:27一年前的「怎麼辦」時刻Emily 說 Stripe 首先是金融基礎設施公司，不是 AI 公司，LLM 突破時既興奮又有點不知所措。三位工程師三週做出內部 beta，目標是讓 7,000 名員工自己去試。
04:30先內部、再外部主持人把企業導入 LLM 分成外部產品、內部工具、供應商三塊，觀察多數公司先想外部產品，最後先在內部試。Emily 同意：問題不是一個人答得出來的，得交給各種背景的人去用。
06:03LLM Explorer 與 presets工具一開始支援 GPT 3.5 與 GPT-4，現在超過六個模型，從第一天就會先去除 PII 再還原。presets 讓大家分享 prompt，一夜之間累積大約 300 個。
08:40applied ML accelerator一到兩個 pizza 的團隊由 CTO 辦公室出資 6 個月，LLM Explorer 的基礎設施是產出之一；其他 accelerator 做的是客服體驗，對使用者也對內部營運人員。
10:33Radar assistant 與 Sigma assistant兩個 beta 產品：前者用自然語言產生詐欺規則，後者用自然語言查報表。主持人認為「用自然語言寫政策、搭配規則引擎」的模式，也能用在核保等場景。
14:27三到五年的願景Emily 談用 foundation model 做付款優化、成為使用者的 economic operating system，以及比 CPI 更早的即時經濟訊號。
17:02擴大投入與選模型主持人問怎麼決定擴大投入。Emily 說營運模式還沒定論，目前有四個這樣的小團隊，也協助各產品線自己導入。內部 LLM API 上已有 60 個應用，有預設模型，但各團隊可依成本與延遲自己選；最貴的那些應用，成本記到使用的團隊。
20:43自建與外購Emily 說有明確的外部方案就串接，需求獨特才自建。experimentation platform 是自建的，因為 charge level 實驗對延遲與可靠度要求很高。
22:03fintech 的空白Emily 看到的機會：弄清楚商家是誰、在賣什麼，讓金融整合更順，以及用付款資料幫企業成長。
25:37付款資料已經在做的優化optimized checkout suite、授權請求的重試與路由、Smart Dunning、Radar 都是例子；Smart Dunning 約減少 30% 被拒的扣款，Radar 會看一筆交易的一千個特徵，在不到 100 毫秒內判斷能不能放行。
27:46勞動經濟學的背景Emily 說職涯的主軸是用資料讓決策更好，並講了大學時以不同筆名寄出劇本的研究，那也是去念經濟學博士的原因。
30:09總體經濟與投資節奏Stripe 的資料看得出經濟走向，也在想能否把類似 CPI 的訊號提早交給使用者。要加多少人，比較不看總體經濟，而是看有沒有服務使用者的機會。
32:50AI 與教育Emily 談 Coursera 的經驗：教育除了學習，另一半價值是向勞動市場證明技能，而技能量測是最公平的做法。
35:43AI 新創跟前幾波的差別從 marketplace、平台、社群媒體到 SaaS，再到 AI 這一波，Emily 列出四個不同：運算成本、全球需求、訂閱制、很早變現。
37:47AI 公司變現得很快主持人把這波比作 1970 年代與早期網路公司的快速成長。Emily 說 Stripe 上的 generative AI 公司去年暴增，從兩人團隊到有數百萬使用者的新創都有。

值得記的話5 句

it's fair to say that stripe isn't first and foremost an AI company可以這麼說：Stripe 首先不是一家 AI 公司02:42
within days a third of Stripes were using it幾天之內，就有三分之一的 Stripe 員工在用06:03
it doesn't feel crazy to think that a good foundation model could outperform more traditional approaches by I don't know 100 bips 200 bips好的 foundation model 比傳統做法再多拉高個 100、200 bips，我覺得不算瘋狂的想像15:14
we're seeing AI startups have substantial compute costs right out of the gate我們看到 AI 新創一起步就背著可觀的運算成本36:29
we're looking at the list of top 50 AI companies put out by Forbes last year and notice over half were using stripe我們看了 Forbes 去年公布的 AI 公司前 50 名，發現超過一半在用 Stripe38:19

名詞與人物12 個

Emily Glassberg Sands: Stripe 的 head of information，之前是 Coursera 的 VP of data science。
David Singleton: Stripe CTO，當初找 Emily 加入；accelerator 的經費出自 CTO 辦公室。
LLM Explorer: Stripe 內部的 ChatGPT 式前端，後端可接多個模型，三位工程師三週做出 beta。
presets: LLM Explorer 裡可以儲存、分享、投票的 prompt。
accelerator: 由 CTO 辦公室出資 6 個月的小團隊，用來孵化新的 AI 嘗試。
Radar: Stripe 用機器學習偵測詐欺的產品，另有讓使用者自訂規則的 Radar for fraud teams。
Radar assistant: 用自然語言產生詐欺規則的 beta 產品。
Sigma: Stripe 以 SQL 為基礎的報表產品。
Sigma assistant: 用自然語言查 Stripe 資料、不必會 SQL 的 beta 產品。
Smart Dunning: billing 產品裡挑最佳日期與時間重試扣款的機制，Emily 說約減少 30% 被拒的扣款。
optimized checkout suite: 一組前端付款優化，例如依相關性動態排列付款方式。
economic operating system: Emily 形容 Stripe 可能的方向：從付款資料出發，協助使用者定價、個人化，並看懂總體趨勢。

提到但沒有展開

Emily 大學時的研究：把幾份沒發表過的劇本寄給數百家劇院，只換作者筆名的性別。同一份劇本掛女性名字，被製作的機會比較低；但劇場界在意這件事，研究帶來了改變，Emily 說現在美國舞台上有一半的作品出自女性。
Emily 說加入 Coursera 時公司只有 40 人，從 IC 一路做到帶整個資料團隊，後來做的產品從個人化學習轉向用教育資料幫學習者與企業找出技能落差。
主持人說最早的 4 年 vesting 是因為當年公司 4 年內就會上市；早期網路公司像 Yahoo、eBay 也在幾年內獲利，這一波 AI 公司看起來有同樣的特徵。

在 YouTube 看原片 ↗

Stripe