NEAR

032 · 區塊鏈與 AI 的交會點

42:25YouTube 上架 2023-09-14Illia Polosukhin（NEAR）

No Priors Ep. 32 | With NEAR’s Illia Polosukhin

Illia Polosukhin 從 Transformer 論文聊到 NEAR，談 AI agent 帶著區塊鏈帳戶做事、用密碼學簽章對付假內容，以及去中心化訓練、資料標註和 Transformer 的未來。

032 講了什麼

• NEAR 是為了付錢才做區塊鏈Illia 最初想教機器寫程式，標註工作靠各國學生眾包，付款卻碰到外匯管制和沒有銀行帳戶的問題，所以先做區塊鏈解決這件事，等 AI 起飛。
• AI agent 配上區塊鏈帳戶Illia 認為語言模型第一次讓機器能直接跟人溝通，agent 有了帳戶就能付錢給人或其他 AI。也設想由 AI 擔任 CEO 角色的組織，省掉大量中層管理的資訊轉述工作。
• 對齊其實是人的問題Illia 主張需要的是 human alignment 而不是 AI alignment，假資訊是老問題，AI 只是把規模放大，所以要靠密碼學簽章、鏈上身分和信譽系統。
• 內容簽章像網站的 SSL相機等裝置的 secure enclave 可以簽署照片，發布者再簽署內容，讀者在 YouTube 或 New York Times 上就會看到類似 SSL green lock 的標記。Illia 預期隔年的美國選舉會充斥生成內容，執法單位也已經碰上有人惡意使用這些工具。
• 去中心化訓練還不實際，推論比較有機會Illia 說頻寬差距太大，訓練很難分散；推論則需要隱私與可擴充的容量，可以用 MPC 和 zero knowledge proofs。
• Transformer 短期很難被取代Illia 認為架構簡單、投入的優化又多，很難追上；為其他架構設計的晶片跑 Transformer 不划算，難以成局。比起換架構，更需要的是讓模型在輸出前能多想一下。

從哪一段開始看18 段

1. 00:00開場與 Transformer 論文主持人介紹這集要談的題目。Illia 當時在做問答的自然語言理解團隊，當時的 LSTM 太慢無法上線；Jakob 想到用 attention 做 encoder decoder，Illia 跟著加入一起試。
2. 01:49從教機器寫程式到區塊鏈NEAR 起初想讓機器學寫程式，靠學生眾包標註；付款遇到金融管制，就先做區塊鏈，等 AI 的爆發。
3. 03:07區塊鏈作業系統目標是把底層細節抽象掉，像手機作業系統一樣讓開發者做應用、使用者直接用。
4. 04:41AI 與 web3 的重疊先是運算、模型、資料的市集；更有意思的是 agent 有了區塊鏈帳戶，成為能付錢給人和 AI 的經濟主體。
5. 05:43AI 當組織的管理層機器能直接派工給人，AI 擔任 CEO 角色的組織可以拿掉大量負責轉述資訊的中層管理。
6. 06:47癌症研究的例子研究經費分配、實驗協調和資訊分享都很破碎，Illia 設想由 AI 協調的組織來挑實驗室、撥款、監督。
7. 08:36先從 DAO 開始主持人提到 AI 回饋可以去個人化；Illia 認為 DAO 裡重複的新人說明和協調工作最容易先自動化。
8. 09:54人的對齊Illia 認為問題都來自人，用拜占庭容錯問題說明假資訊是老問題，社會需要處理大規模假資訊的框架。
9. 11:58內容簽章與信譽裝置可簽署拍下的照片，發布者簽署成品，再配上鏈上身分與信譽；網站上可以顯示像 SSL 一樣的標記。
10. 14:23鏈上身分錢包就是身分，但私鑰太難懂；NEAR 用有名字的帳戶，並可給 agent 或應用不同權限的 key。要成為預設，需要先有足夠多應用採用。
11. 17:02選舉、執法與語音詐騙預期隔年美國選舉會出現假候選人與客製化宣傳；執法端缺乏辨識生成內容的方法，語音複製已是犯罪問題。
12. 21:00GPU 與去中心化訓練挖礦的舊 GPU 不是 AI 要的，CoreWeave 靠的是蓋資料中心的經驗；去中心化訓練受頻寬限制，推論才有機會。
13. 24:36資料標註市集Illia 認為去中心化市集能讓全球的人參加、有託管與品質機制，並用 honeypots 設下賭注來驗證品質。
14. 29:18NEAR 接下來的專案分拆出 web3 AI 資料市集，並與 Sweatcoin 這類 web2 應用合作，開放更多經濟活動。
15. 30:51未來的 SaaS用戶自己持有資料庫，前端靠共用元件或自然語言描述生成；介面會是 agent 加動態 UI 的混合。
16. 34:16Transformer 之後還在 Transformer 架構內，重點是讓模型輸出前能多想、能自我批評，可以在訓練時用空 token 讓它有思考時間。
17. 37:21架構鎖定與硬體主持人提出 Transformer 與 GPU 互相鎖定；Illia 認為為別的架構設計的晶片跑 Transformer 不划算，很難成局，比較可能的是在現有晶片上找新做法。
18. 40:46GPU 供給與異質硬體主持人說 GPU 供不應求，讓大家比以往更有動機讓異質硬體跑得起來。Illia 回應，各大公司都在自製加速器，但多半仍為 Transformer 或類似架構優化。

值得記的話5 句

• this is the first time that a machine is able to communicate with people in the same way這是機器第一次能用同樣的方式跟人溝通05:27

• I have this view that we need human alignment instead of AI alignment我認為我們需要的是人的對齊，而不是 AI 的對齊09:54

• your quote unquote private keys are your identity but that's just too hard of a concept for people to actually work with你的私鑰就是你的身分，但這個概念對一般人來說太難用了15:10

• I think decentralized training right now is like still not as realistic我認為去中心化訓練目前還不太實際23:04

• specify specific types of incorrect answers that people need to Mark as Incorrect and otherwise they actually lose the buy-in指定特定的錯誤答案，標註者必須標成錯誤，否則就會損失押金28:27

名詞與人物10 個

Illia Polosukhin

NEAR 共同創辦人，Transformer 論文作者之一。

NEAR

自稱區塊鏈作業系統，要讓開發者與使用者不必碰底層細節。

Jakob Uszkoreit

當時用 attention 做 query similarity，想到拿 attention 做 encoder decoder；主持人提到也上過這個節目。

DAO

去中心化自治組織，Illia 認為新人說明與協調這類工作最先能自動化。

Byzantine fault tolerance

區塊鏈的基礎問題，起點是軍隊裡防止假資訊。

secure enclave

相機與手機裡能替影像簽章的安全硬體，Illia 說據自己所知還沒被攻破。

root.near

Illia 的 NEAR 帳戶名，可以用多把權限不同的 key 存取。

honeypots

資料標註市集裡預先設好的錯誤答案，標註者沒標成錯誤就損失押金。

CoreWeave

Illia 舉的例子：原本是挖礦公司，優勢在懂得蓋資料中心、能向 NVIDIA 拿到大量供貨，而不是拿挖礦的 GPU 改用。

Sweatcoin

web2 計步應用，Illia 說有 120 million 安裝量，正轉向 web3。

提到但沒有展開

• Illia 認為政府層級的身分也要升級，例如 SSN 本該保密，卻得交給每個要它的人。
• Illia 用過 Mechanical Turk：委託方可以直接拒付，工人幾乎沒辦法反擊，平台上也沒有品質與專業評估，去中心化的標註市集要補的就是這些。
• 主持人提到 Wintel 的鎖定效應；Illia 補充這個局面後來是靠行動裝置與 ARM 晶片打破的。

在 YouTube 看原片 ↗