Arc Prize

068 · 為什麼要辦 Arc Prize

26:00YouTube 上架 2024-06-11Mike Knoop（Zapier）

No Priors Ep. 68 | With Zapier Co-Founder and Head of AI Mike Knoop

Mike Knoop 說 AGI 的進度已經停滯，原因是大家量錯了東西。談 Arc Prize 為何用獎金找局外人、Zapier 的 AI bots 怎麼逐步放寬風險，以及對開源與法規的立場。

068 講了什麼

• 共識定義量錯了東西現在最常見的 AGI 定義是「能做大部分人類有經濟價值的工作」。Mike 說這個定義有用，但比較像在描述很多人的工作內容，而不是通用智慧。Mike 採用 Francois Chollet 的定義：有效率地學會新技能。
• LLM 被看成高維度的記憶系統Mike 說 LLM 擅長從訓練資料找出模式再套用，Zapier 的 AI bots 也是靠這個運作；但答案本身未知的開放問題，推理鏈不在訓練資料裡，LLM 會失靈。Mike 看好兩條路：program synthesis，以及 neural architecture search。後者過去受限於學界算力，現在算力夠便宜，值得重做，而且搜尋時少放人類的先驗。
• 獎金是為了吸引局外人Arc Prize 是一百萬美元以上的非營利公開挑戰，要打敗 Arc AGI eval 並開源解法。Mike 押解法會來自局外人，也預期不需要超大模型。
• Zapier 的 AI 歷程2022 年夏天 Mike 與共同創辦人 Brian 放下管理職回去做個人貢獻者，把 Zapier 的 6,000 個整合接上語言模型，成為 ChatGPT plugin 的 launch partner。開始統計以來，已有超過 50 million 個 AI 任務在平台上跑過。
• 風險越高，限制越多同一個 bot 範本，新創團隊可以放手讓它自己選頻道，大公司則會想收緊它能做的事。Zapier 的產品思路是讓使用者自己加限制，一圈圈放大可用的情境。
• 對法規與開源的立場Mike 認為現有監管框架已能管窄範圍的 AI，在還沒有實證證據之前，不該立法規定研究方向；也主張基礎研究要開放分享。

從哪一段開始看15 段

1. 00:05開場與 Arc Prize主持人介紹 Mike 與 Arc Prize。Mike 說白天做 Zapier 的應用層 AI，晚上與週末鑽研 AGI 研究。
2. 01:25AGI 進度停滯Mike 認為過去四五年 AGI 進度停滯，大家過度投入 LLM 路線，前沿實驗室也幾乎不再公開技術細節。
3. 02:10Arc Prize 與 Arc AGI eval一百萬美元以上的非營利挑戰。Lab42 辦了四年小型比賽，最佳成績從推出時的 20% 只進步到現在的 34%；LLM 與規模化出現之後，這個評測照樣沒被攻破。
4. 03:10兩種 AGI 定義共識定義是做大部分有經濟價值的工作；Mike 偏向 Francois 的版本，通用智慧是有效率地取得新技能。
5. 05:15LLM 為什麼不夠主持人拿 LLM 的通用性提問；Mike 回答 LLM 是高維度記憶系統，推理鏈不在訓練資料裡的問題就卡住。
6. 07:31Transformer 的角色Mike 說 transformer 可能是解法的一部分，主要貢獻是穩健的感知層；只靠下一個 token 預測，加再多參數與資料也不夠。
7. 08:33缺少的想法提出 program synthesis 與 neural architecture search，後者在算力便宜之後值得重來。
8. 10:41智慧與知覺主持人問 AGI 是否涉及 sentience；Mike 說自己不是哲學家，沒有深想，只想做出能一起發明與發現的系統。
9. 12:32風險與實證態度Mike 主張用實證看系統能做什麼，反對以理論預測去規定研究方向。
10. 13:51為什麼用獎金去年的小型比賽有 300 個團隊，多是一兩人的局外人；Mike 預期解法也來自局外人，並希望獎金讓有能力的人把晚上與週末投入這題。
11. 16:14Zapier 的 AI 路線2022 年夏天 Mike 與共同創辦人 Brian 回頭做個人貢獻者，約半年試做各種東西，最後把 6,000 個整合接上模型。
12. 17:45採用數字與 Zapier Central超過 50 million 個 AI 任務；多數人把 AI 當成工作流中間的一步。新產品用自然語言設定 bot。
13. 19:01Agent 與風險分級已有人付費使用 bot；同一個範本在不同規模的公司，能接受的風險不同，所以要讓使用者加限制。
14. 21:36開源與開放研究主持人問開源與加州、聯邦層級的法規動向；Mike 支持開放研究與分享，並說前沿實驗室越來越不公開研究。
15. 23:42法規與密碼學類比主持人拿 1990 年代管制密碼學對照；Mike 認為現有監管框架已能管窄範圍 AI，反對在沒有實證前訂規定性的立法。

值得記的話5 句

• my belief is that AGI progress is really stalled out over the last four or five years我認為 AGI 的進展在過去四五年真的停滯了01:25

• general intelligence is a system that can effectively efficiently acquire new skill這是 Mike 採用的 Francois 版本：通用智慧是能有效率地學會新技能的系統03:57

• effectively what large language models do today is they are high-dimensional memorization systems現在的大型語言模型，實際上是高維度的記憶系統05:45

• it can be like written in like 10,000 lines of code or less解法很可能用 10,000 行以內的程式碼就寫得出來15:10

• as you kind of move up and up the risk chain you kind of want to install more and more clamps風險越往上，越想加上更多限制21:04

名詞與人物9 個

Mike Knoop

Zapier 共同創辦人與 head of AI，本集來賓，也是 Arc Prize 的發起人之一。

Arc Prize

一百萬美元以上的非營利公開挑戰，目標是打敗 Arc AGI eval 並開源解法。

Arc AGI eval

Francois 設計的評測，題目像 IQ 測驗的小型方格謎題；Mike 稱它是唯一真正量測 AGI 的評測。

Francois Chollet

Arc AGI eval 的設計者，Mike 採用的通用智慧定義出自這位。

Lab42

過去四年辦小型年度 Arc 比賽的 AI 實驗室。

program synthesis

讓程式在可能的程式空間裡搜尋並組合，找出把輸入對應到輸出的程式。

neural architecture search

用程式去搜尋可能的 AI 架構；Mike 說這個領域存在已久，值得在算力變便宜後重新檢視。

Brian

Zapier 的共同創辦人兼 CTO，與 Mike 一起回去做個人貢獻者。

Zapier Central

Zapier 的 AI bots 產品，用自然語言設定，不需在編輯器裡一步步配置。

提到但沒有展開

• 主持人追問：有沒有知覺會影響 AI 對人類的風險有多大。Mike 說這已經接近終極的對齊問題，比較像哲學問題而不是工程問題，只能看系統實際做得到什麼再決定。
• Mike 說自己不願為了阻止 AI 被開發而犧牲個人自由，並表示若日後看到 AGI 實際的樣貌，再來決定怎麼釋出與控制。

在 YouTube 看原片 ↗