從 Transformer 到角色聊天

012 · 從 Transformer 到角色聊天

35:36YouTube 上架 2023-04-25Noam Shazeer

前 13 集的上架日是頻道補檔的日子（2023 年 4 月底一次補上），不是當初播出的日期，所以跟集號的先後對不起來。

No Priors Ep. 12 | With Noam Shazeer

Noam Shazeer 談語言模型為什麼是最好的問題、Transformer 怎麼冒出來，以及 Character 的角色聊天怎麼被用、怎麼賺錢。

012 講了什麼

語言模型是最好的問題Noam 認為資料取之不盡，題目只是預測下一個字，定義起來極簡單，做得好就是 AI complete。Noam 大約從 2015 年開始做語言模型，當時玩的是 recurrent neural networks。
Transformer 的起點是嫌 RNN 煩Noam 說是 Jakob 先想到用 attention 取代 RNN，自己在隔壁座位聽到同事在聊，就加入幫忙。RNN 要依序一步步算，Transformer 能一次處理整個序列，正好吃得到硬體的平行運算。
天花板還沒看到Noam 說沒有人撞到牆，訓練演算法、架構、晶片與量化會帶來好幾個兩倍的效率改進，資金與規模則會再砸進 10 倍、100 倍、1000 倍。資料不太需要擔心，大不了用 AI 再產生。
Character 從 LaMDA 的前身長出來共同創辦人 Daniel de Freitas 從小在巴西就想做聊天機器人，在 Google 用 20% 時間做了 Meena；Noam 加入後它成了內部爆紅的專案，後來改名 LaMDA。兩人離開時，還沒發生有工程師認為它有知覺的新聞。
讓使用者決定拿來做什麼Noam 提到的用法有角色扮演、動漫與遊戲角色、跟公眾人物或網紅聊天，也有人是因為孤單、需要有人說話；當天有發訊息的使用者，平均在站上約兩小時。
做 AI 的理由Noam 想讓醫學這類科技問題盡快被解決，所以選擇先做 AI。公司要同時以 AGI 與產品為先，做法是讓產品的好壞完全取決於 AI 有多聰明。

從哪一段開始看16 段

00:00從 Google 開始主持人介紹 Noam 在 Google 的經歷。Noam 說自己一直被 AI 吸引，2012 年加入 Google Brain，之前沒做過深度學習。
01:53深度學習與語言模型前幾年失敗不少，後來抓到訣竅：深度學習適合現代硬體。Noam 認為語言模型資料無限、定義簡單、是 AI complete。
03:30從 RNN 到 Transformer2015 年左右開始做語言模型，聽到同事想用 attention 取代 RNN 而加入。Noam 解釋 attention 像一張模糊、可微分的 key value 記憶表。
07:24為什麼只顧文字主持人問意想不到的應用。Noam 說自己一直埋頭在語言上，一張圖值一千個字卻有一百萬個像素，文字密度高一千倍，核心智慧會來自文字模型。
08:27天花板與資料Noam 說還沒看到極限，之後還有演算法、晶片、量化和資金帶來的大幅進步。談到資料時說需求大約隨運算量的平方根增加，也可以用 AI 產生。
11:22記憶與幻覺對幻覺的看法是「也可以算功能」；最想做的是記憶，因為使用者要虛擬朋友記得自己。
12:10Meena 與 LaMDADaniel 把 Meena 當 20% 專案起家，找來約 20 個幫手、四處討 TPU 額度；後來 Noam 加入，專案成了內部熱門，並改名 LaMDA。
14:48離開 Google 創業主持人問為何沒發布。Noam 猜大公司要權衡風險與收益，所以決定創業、動作更快；團隊來自 Google 舊識，以及一位在 Meta 做過大量語言模型基礎設施的人和跟著過來的一批人，Daniel 看重「燃燒般的渴望或童年夢想」。
17:12為什麼是角色Noam 認為技術太通用，該讓使用者自己掌控。Siri、Alexa 那類單一 Persona 為了討好所有人，最後會很無聊。
20:01大家拿來做什麼角色扮演、遊戲與動漫角色、與公眾人物或網紅的擬社會互動，也有人因孤單或困擾而來找人說話；Noam 說情感用途不需要很高的智慧。
22:55變大之後與使用時間Noam 說模型靠演算法與更多運算可以更聰明，也更懂使用者。當天有發訊息的使用者平均在站上約兩小時。
25:00商業化Noam 說很快就會開始變現，可能試高級訂閱，新功能服務成本較高時再收費；但很喜歡現在誰都能免費用。
27:21安全角色說的都是編的，要讓使用者知道這是虛構；也有過濾，不鼓勵傷害自己或他人，並封鎖色情內容，這點有人抗議。
28:08AGI 與動機Noam 想盡快推動科技前進，尤其醫學，所以做 AI；讓產品品質取決於 AI 有多聰明，主持人說這形成了回饋迴路。
31:03創業建議與做角色Noam 的建議是快速做出想要的東西、找動機強的人。名人角色通常只要名字和招呼語，模型本來就認識；比較不知名的就補一段範例對話。
33:12快問快答提到在 Google 常合作的 Jeff Dean；數學猜是被發現的；希望有人發明傳送，但不想被拆解；最後說只專心發明 AI。

值得記的話5 句

The problem is super simple to define, it's just like predict the next word.問題定義起來超簡單，就是預測下一個字02:57
I think that a lot of the core intelligence is going to come from from these text models.我認為很多核心智慧會來自這些文字模型08:27
I kind of like hallucinations, yeah, or call it a feature.我有點喜歡幻覺，或者說那是個功能11:22
The real thing is like I want to drive technology forward.真正的原因是我想推動科技往前走28:39
You make the make your product depend entirely on the quality of the AI.就是讓產品完全取決於 AI 的品質29:43

名詞與人物10 個

Noam Shazeer: 本集來賓，主持人說 Noam 在 Google 前後待了約 17 年、是 Transformer 論文的主要作者之一；現在做 Character。
Character: Noam 與 Daniel 創辦的公司，使用者可以建立各種角色並跟它聊天；錄音時有 22 名員工。
Daniel de Freitas: Noam 的共同創辦人，從小就想做聊天機器人。
Jakob: Noam 說是先想到用 attention 取代 RNN 的同事。
Meena: Daniel 在 Google 做的聊天機器人專案，後來改名 LaMDA。
LaMDA: Google 內部的聊天機器人，由 Meena 改名而來，後來因工程師認為它有知覺上了新聞。
Transformer: 用 attention 一次處理整個序列、取代 RNN 的架構。
RNN: recurrent neural network，必須依序一個字一個字算。
attention: 像一張模糊、可微分的 key value 記憶表，讓模型回頭查看序列。
Jeff Dean: Noam 在 Google 常合作的電腦科學家，Noam 說 Jeff Dean 現在負責 Google 的大型語言模型。

提到但沒有展開

Noam 粗估世界上大約 10 billion 人，每人每天講上千到上萬個字，很快很多人會跟 AI 系統對話，大量資料會流進 AI 系統，希望是以保護隱私的方式。
Noam 喜歡 character 這個名字有好幾層意思：ASCII 字元、文字的單位、人物，也有品格的意思。
單一 Persona 為什麼無聊，Noam 舉的例子是英國女王不能說出讓人失望的話，以及 George H.W. Bush 說不喜歡花椰菜、惹惱花椰菜農。
主持人提到 eBay 早期就像社群網站，大家在買賣之餘在那裡閒晃，作為商業產品長出社交行為的例子。

在 YouTube 看原片 ↗

Noam Shazeer