學界在基礎模型時代的角色

007 · 學界在基礎模型時代的角色

53:37YouTube 上架 2023-04-25Percy Liang（Stanford）

前 13 集的上架日是頻道補檔的日子（2023 年 4 月底一次補上），不是當初播出的日期，所以跟集號的先後對不起來。

No Priors Ep. 7 | With Stanford Professor Dr. Percy Liang

Percy Liang 從 GPT-3 帶來的轉折談起，講學界為什麼要負責理解模型、Transformer 之外的路、去中心化算力的 Together，以及 HELM 評測與透明度的主張。

007 講了什麼

GPT-3 讓「任務」這個概念鬆動Percy 說自己被震撼的不是能力，而是訓練方式：拿大量文字反覆預測下一個字。這樣的簡單目標長出了 in-context learning，模型不再是一個任務配一個系統，而是一個通用的底層。
學界的位置從「讓它能用」變成「搞懂它」以前學界的工作是讓模型先動起來；現在有資源的公司靠資料與算力就能硬推，學界該做的是理解模型為什麼這樣表現，以及社會影響。
希望十年後不再用 TransformerPercy 認為 Transformer 只是「夠好」，科學上沒有理由相信它就是答案，同事的團隊已經做出不用 attention、小規模下跟 Transformer 有得比的架構，Percy 希望學界多做這類研究。
Together 想把閒置算力串起來算力是基礎模型的核心瓶頸，分散在各處的閒置算力若能用上，學界與新創都有更多空間；難處在一般桌機或家用網路的連線，比資料中心慢一百倍以上。
HELM 把評測拉到整體視野同一套評測跑在 30 個模型、42 個情境、7 種指標上，除了準確度還看穩健、校準、公平、偏見、毒性與效率，並且每兩週更新。
透明度是必要但不充分Percy 主張公眾至少要知道模型怎麼建、資料是什麼、拿什麼指示對齊，用營養標示當比喻。

從哪一段開始看18 段

00:00研究背景Percy 從 MIT 大學部、Berkeley 研究所到 Stanford，做機器學習與自然語言處理超過 20 年，一直想讓電腦真正理解語言。
02:12GPT-3 的轉折疫情期間 GPT-3 出現，Percy 被訓練方式震撼；in-context learning 讓「任務」的概念開始瓦解，2021 年稍晚成立 CRFM，並提出 foundation models 一詞。
04:21開放文化退場CRFM 的使命是提高透明度與可近用性；模型改成只開 API，原因包括資本與競爭優勢，也有安全考量。接著談學界與業界的分工，學界的重心是理解。
08:49CRFM 的跨領域研究中心有 30 多位教授、橫跨 10 個系，研究經濟影響、著作權、社會偏見、同質化、假訊息與醫療應用。
10:30醫療導入與超人標準主持人以 70 年代 MYCIN 為例問醫療為何難導入；Percy 提隱私與幻覺問題；主持人接著提到超人標準，Percy 同意目標不該只是模仿人類水準。
13:22語意解析到工具使用從把自然語言對應成 SQL 的語意解析，談到 SQuAD、工具使用，以及神經與符號兩派如何結合的老問題。
17:20還缺什麼規模加資料有效，但資料效率被忽略、benchmark 可能被灌分；另外需要更長的脈絡，以及能回頭修正的反覆式解題。
19:27湧現能力與創造力in-context learning、chain of thought、把快速排序寫成莎士比亞風格；Percy 認為這不是單純背誦，也談指令遵循，並說很難分辨有多少是湧現。
24:28幻覺怎麼減少Percy 希望模型變好後幻覺會減少，並認為模型若對世界有更好的模型，就更容易被要求不要亂編。
27:19Transformer 之外主持人轉述一位接近 Transformer 開發的人的說法：別的架構可能只是沒被放大過；Percy 希望十年後不再用 Transformer。學界訓練得起 1 billion 參數的模型，CRFM 在訓練 6 到 7 billion，但要驗證仍得往更大規模走。
31:02Together 的構想把分散、閒置的算力用於研究與商業；連線速度是主要技術難題。主持人拿 Folding@home 比擬，Percy 說那確實是靈感來源，並分成研究用電腦與微調開源模型的平台兩面。
35:18領域模型 BioMedLM與 Mosaic 合作、用 PubMed 文章訓練的小模型，一度在美國醫師執照考試上領先；Google 一個大約 200 倍大的模型後來勝出。
36:38抓造假與文獻回顧主持人問能否用模型篩論文裡的造假或重複；Percy 說可以標記但重大決定要小心，並提到論文量暴增讓人更需要文獻回顧工具。
39:31能做研究的系統Percy 的夢想是系統能讀文獻、提假說、設計並執行實驗，由人在迴圈中引導；目前像課堂專題的程度，突破性發現較難。
42:10HELM 評測整體評估語言模型：30 個模型、42 個情境、7 種指標，結果公開可往下查到實例與 prompt，並改成每兩週更新，還要加入說服力、安全與多模態。
47:01政策與透明度對齊是對齊誰的價值、誰來決定；Percy 主張先從透明度做起，用營養標示當類比。
49:53怎麼參與 Together正在開發用戶端與 API，也快要釋出建立在 EleutherAI 的 Neo X 之上的 OpenChatKit，定位是半成品，開出來讓社群一起改。
51:29對 AGI 的看法Percy 說自己的想法隨時間改變，更關心近期的穩健性問題，也學到要保持開放心態。

值得記的話5 句

the idea of a task which is so central to AI, I think, begins to dissolve我認為「任務」這個對 AI 如此核心的概念，開始瓦解了03:14
a lot of the role of academia is understanding, because these models, for all their impressive feats, we just don't understand學界很大的角色是理解，因為這些模型再怎麼亮眼，我們就是不理解它們08:18
we should think about technology not just chasing after mimicking a human because we already have a lot of humans我們看待技術，不該只是追著模仿人類，因為人類已經很多了12:51
I really hope that in 10 years we won't be reusing the Transformer我真的希望十年後我們不會還在用 Transformer27:50
transparency is necessary but not sufficient透明度是必要的，但不充分48:37

名詞與人物11 個

Percy Liang: Stanford 教授，參與創立 CRFM 與 Together。
CRFM: Stanford HAI 底下的 Center for Research on Foundation Models，有 30 多位教授橫跨 10 個系。
foundation models: CRFM 提出的說法，指不限於語言、也涵蓋影像與多模態的通用大模型。
in-context learning: 在 prompt 裡給指示與範例，模型當場推斷任務，不用另外訓練。
chain of thought: 要求模型先講出解題思路再回答，答對的機率比較高。
HELM: Holistic Evaluation of Language Models，對語言模型做整體評測的專案。
Together: 把分散的閒置算力串起來，用於訓練、微調與推論的公司與平台。
BioMedLM: CRFM 與 Mosaic 合作、以 PubMed 文章訓練的較小模型。
OpenChatKit: Together 即將釋出的開放對話模型，建立在 EleutherAI 的 Neo X 上。
semantic parsing: 把自然語言對應成可執行的形式語言，例如 SQL 查詢。
SQuAD: Percy 的團隊為推動開放領域問答所建立的 benchmark。

提到但沒有展開

Percy 提到歷史上神經與符號 AI 的爭論：規劃與推理曾是符號 AI 的重心，現在隨任務變複雜又重新變得重要。
談到模型被互相越獄的風險：模型開始與外界互動、接受外部輸入後，可能不只越獄自己的模型，還能越獄別人的，造成連鎖錯誤。

在 YouTube 看原片 ↗

Stanford