Hugging Face 的開源路線 · No Priors 筆記

005 · Hugging Face 的開源路線

37:26YouTube 上架 2023-05-19Clem Delangue（Hugging Face）

前 13 集的上架日是頻道補檔的日子（2023 年 4 月底一次補上），不是當初播出的日期，所以跟集號的先後對不起來。

No Priors Ep. 5 | With Huggingface’s Clem Delangue

Clem Delangue 從 eBay 賣家一路講到 Hugging Face：AI 電子雞怎麼轉成開源社群、為什麼開源與專有模型會並存，以及平台的商業模式與下一步想做的事。

005 講了什麼

從聊天機器人轉向開源Clem 說 Hugging Face 一開始是做 AI 版的電子雞，做了將近三年，累積數十億則訊息。開源部分在 Transformer 模型開始見效後用量暴增，公司在 series A 之後把主力放到這個新方向。
探索要佔固定比例Clem 認為很多新創在探索與利用之間抓不準，公司至少拿 30% 到 40% 的力氣去試新東西。Spaces 就是由一位團隊成員的實驗長出來的，過去一年 demo 數量超過 50,000 個。
社群是每個人的工作Hugging Face 沒有請社群經理或公關，連最技術的科學家也被要求跟社群互動、分享成果。Clem 說團隊每個人都能用公司的 Twitter 帳號發文。
開源與專有會並存Clem 不相信「一個模型、一家公司通吃」，舉 Hub 上的模型數量當佐證；專門化的模型通常更省錢、更快，也更準。Clem 也擔心專有模型變多會拖慢研究與落地之間的循環。
基礎設施與資料同意Clem 期待更多人做去中心化的訓練基礎設施，以及讓創作者能選擇退出或同意的資料集，例如 BigCode 與只用同意資料訓練的 opt-in 資料集。
免費為主、付費為輔Clem 說平台上有 15,000 家公司在用，其中 3,000 家付費；付費的需求集中在安全與合規功能、以及 GPU 與 inference endpoints 這類基礎設施。

從哪一段開始看16 段

00:00從 eBay 到機器學習Clem 在 eBay 賣電子產品，後來因為展會上碰到的一位工程師，離開 eBay 轉去做電腦視覺的機器學習新創。
02:35AI 版電子雞與兩位共同創辦人起初想做有趣又有挑戰的東西，因此做了 AI friend，大約做了三年。
03:53轉向開源社群Transformer 模型開始見效後，開源專案的用量從少數人暴增到數百家公司，series A 也建立在這個早期成績上。
05:25探索與利用的比例找方向不要太常換，也不要找到之後就不試；Clem 的做法是固定拿 30% 到 40% 力氣做長期賭注，Spaces 是例子。
08:03靠 Twitter 起家的社群最初的流量來自 Twitter 上既有的機器學習圈，研究者分享模型帶來能見度，再帶動更多研究者加入。
10:41社群文化怎麼養時機好是一部分；其餘是真的聽社群要什麼，並且找本來就想為社群貢獻的人。
12:02研究落地越來越快傳統科學要十年二十年才進到產品，機器學習現在一年、幾個月，有時幾天就做得到；Clem 因此擔心專有模型變多會拖慢這個循環。
14:45開源與專有並存文字生成目前專有領先，文字分類與圖像生成則是開源領先；Hub 上剛越過 250,000 個模型，由將近 15,000 家公司放上來。
18:31模型類型與大小主要有文字、文字生圖與電腦視覺、音訊三大塊，還有時間序列、生物與化學；模型從數百萬參數到 180 billion 都有人用。
21:08基礎設施與去中心化Clem 期待社群正視執行成本，並希望有人做更常更新的訓練方式，讓模型不會停在舊資料。
23:48創作者同意的資料BigCode 讓開發者能退出資料集，Hub 上也出現更多只用創作者同意資料訓練的資料集。
24:37Bloom 與 BigScience一千位研究者、200 個組織在公開環境下訓練大型語言模型，也影響了 Hugging Face 對權力集中與偏見的看法。
26:45RLHFHub 較早就有 RLHF 模型，目前主導一個幫公司整合 RLHF 的開源函式庫；Clem 也說做機器學習新創得不斷調整。
28:21商業模式走類似 freemium 的路線，付費需求來自安全、合規，以及 GPU 與 inference endpoints。
30:42GitHub 的啟示Clem 認為 GitHub 可能該更早切入運算與基礎設施，Hugging Face 也想早一點成為專案的運算入口。
33:54生物化學與原生公司Clem 期待生物與化學的模型，以及像 Runway 這種以機器學習為核心的「full stack」公司；不願預測具體應用。

值得記的話5 句

it's part of your job to interact with the community to share with the community跟社群互動、跟社群分享，是你工作的一部分；這是對連最技術的科學家也一樣的要求09:22
it's actually making its way into production after you know a year a few months a few weeks sometimes a few days now研究現在一年、幾個月、幾週，有時幾天就進到產品裡13:09
I don't really believe in this scenario of like one model one one company to to rule them all我不相信一個模型、一家公司通吃的情境16:22
a more specialized model is more efficient it's cheaper to run it's usually faster to run更專門的模型更有效率，跑起來更便宜，通常也更快17:26
something that I call the the cloud money laundering我稱之為「雲端洗錢」：基礎設施成本跟實際用途脫鉤21:56

名詞與人物11 個

Clem Delangue: Hugging Face 的共同創辦人，本集來賓。
Thomas: Clem 的共同創辦人，早期主導開源與實驗，博士讀量子物理。
Spaces: Hugging Face 上的機器學習 demo，從一位團隊成員的實驗長出來，過去一年超過 50,000 個。
Hub: Hugging Face 上放模型、資料集與 demo 的平台；Clem 說模型數剛越過 250,000。
Bloom: BigScience 計畫訓練出的大型語言模型，全程公開。
BigScience: 一千位研究者、200 個組織合作、公開訓練大型語言模型的計畫。
BigCode: 由 BigScience 延伸出來的開源程式碼生成模型計畫，讓開發者能把自己的程式碼退出訓練資料集。
opt-in 資料集: 只用創作者同意的資料訓練的資料集，Hub 上越來越多。
RLHF: 以人類回饋做強化學習，Hugging Face 主導相關的開源函式庫。
inference endpoints: Hugging Face 的推論服務，是付費需求之一。
full stack machine learning companies: Clem 的說法，指自己做機器學習而不只是使用的公司，如 Runway、Grammarly。

提到但沒有展開

Clem 提到 Bloomberg 是 Hugging Face 的使用者與客戶，因為要即時、低延遲而偏好較小的模型。
Clem 舉時間序列的例子：叫 Uber 時看到的 ETA，就是一個 Transformer 時間序列模型。
談到 GitHub，Clem 說它剛宣布使用的軟體工程師超過 100 million、年營收越過十億美元；要說有什麼失誤，大概是太早賣給 Microsoft。

在 YouTube 看原片 ↗

Hugging Face