← 回到天際線 生意第 11 層 / 22

EP 3982023-09-281:04:38 ROUND 3

元宇宙裡的擬真分身初體驗

Mark Zuckerberg

Lex 戴上 Meta 擬真分身頭盔跟 Zuckerberg 隔空對談,聊分身技術、Quest 3 與 AI 人格。

Mark Zuckerberg: First Interview in the Metaverse | Lex Fridman Podcast #398在 YouTube 看 ↗

重點6 條

  1. 擬真分身怎麼做到的:Meta 的 Codec Avatars 計畫讓兩人各自掃描臉部與各種表情,壓縮成一組編碼,戴上頭盔後即時重建成對方的臉,連雀斑、膚色深淺、不對稱、笑起來眼角的細節都保留,比傳輸整段 3D 影像更省頻寬。目前掃描要花好幾個小時,Zuckerberg 說目標是未來用手機掃兩三分鐘就能做到類似品質。
  2. 表情要能自己調:每個人臉部動作被機器捕捉的幅度不一樣,Zuckerberg 說要不要讓使用者調整、調到多少還是未定的問題;就他自己來說,常因為表情偏僵硬被吐槽,會希望分身比本人的臉更能表達情緒。
  3. Quest 3 主打混合實境:Quest 3 這年秋天上市,500 美元,晶片與感測器都比正在用的 Quest Pro 好卻更便宜,Zuckerberg 認為能看到周遭真實環境比純 VR 更讓人有安全感,是這代產品的關鍵賣點。
  4. 身分與意識的邊界:Zuckerberg 提到分身其實是「掃描當下」的自己,不會隨著本人每天的變化更新;兩人也聊到如果能把已故親人的樣子做成分身,會不會反而讓人走不出悲傷,認為這需要更多研究才能有答案。
  5. AI 人格分三種用途:Meta 準備在 Connect 之後推出的 AI 人格大致分助理型(單純回答問題)、商業型(幫小生意接待客人)、娛樂型(說笑話、玩文字冒險遊戲,內部最受歡迎的是一個地下城主角色),未來還要做 AI Studio 讓一般人也能自己捏一個。
  6. Llama 2 開源的判斷:Zuckerberg 認為開源 Llama 2 的效益明顯大於風險,下載與使用量比預期好;下一代模型還在早期階段,這個月不會有,他希望準備好時也能開源。

時間軸26 段

01 01:07
初體驗 codec avatar

Lex 一戴上頭盔就直呼逼真,明明隔著幾百英里,還聊到燈光可以隨意調整;Lex 說靠這麼近也不覺得尷尬,Zuckerberg 說其實有,開錄前已經把他往後挪了幾英尺。

02 02:22
Codec Avatars 技術

Zuckerberg 解釋這是 Meta 的研究計畫:先掃描臉部各種表情做成模型,再壓縮成即時傳輸的編碼;Lex 說讓他覺得逼真的反而是雀斑、皺紋這些瑕疵,Zuckerberg 補充眼睛是關鍵。

03 05:22
掃描過程與未來普及

Lex 分享自己去 Pittsburgh 做完整掃描要花好幾小時,Zuckerberg 說目標是未來只要用手機拍兩三分鐘就能做出類似品質的分身。

04 08:35
表情幅度要能自己調

Zuckerberg 說自己常被吐槽表情僵硬,認為未來應該讓使用者調整分身的表情放大程度,才能比本人的臉更能表達情緒。

05 10:49
沉浸感只有戴上才懂

Zuckerberg 擔心這種臨場感很難用 2D 影片傳達給旁觀者;兩人也討論還要多久才能讓一般人用手機掃描就用上這項技術。

06 14:13
全身分身的取捨

目前只有臉;Zuckerberg 說正在考慮身體用較低解析度拼上去,因為臉部表情牽涉的資訊量遠比手腳動作重要。

07 15:29
Quest 3 這年秋天上市

定價 500 美元,晶片與感測器都比正在用的 Quest Pro 升級,Zuckerberg 強調重點是把先進技術做到大家都買得起。

08 18:12
混合實境比純 VR 更安心

因為看得到周遭真實環境,不用擔心揮手打到旁邊的家具,Zuckerberg 認為這種安全感會讓更多人願意用。

09 21:12
免手把的手勢追蹤

舉了一個用手在桌上彈鋼琴的示範,不靠手把也能精準抓到手部動作,延遲低到跟真實一樣。

10 22:06
什麼才算「真實世界」

Zuckerberg 認為真正的「真實世界」該是物理加數位的結合,不是只有物理才算數;他也舉例螢幕、書、桌遊以後都可能變成隨手叫出來、用完就收掉的全像投影。

11 24:50
AI 同事也能用分身開會

Zuckerberg 舉例未來開會可能有人本人在場、有人以全像投影出席,甚至讓 AI 同事也用擬真分身加入會議;他也談到擬真分身跟卡通分身未來會怎麼分工,覺得兩種可能都會有各自的用途,只是比例還不確定。

12 29:25
海邊喝啤酒的例子

Lex 說只要夠擬真,就算沒有真的在一起,跟朋友在海邊喝啤酒的臨場感也算貨真價實的友誼體驗,他覺得已經好到可以長期這樣用。

13 30:15
忘記對方不是本人

Lex 說聊到後來會忘記眼前的其實是分身,兩人接著聊起這算不算一種哲學問題。

14 31:10
哪個才是「真的你」

Zuckerberg 提到分身是掃描當下那一刻的樣子,不會隨本人每天的變化更新,這跟人的體態本來就會浮動其實是類似的問題。

15 32:57
能不能跟過世的親人「見面」

兩人聊到如果能把已故家人做成分身互動,對正在悲傷的人到底是幫助還是阻礙,Zuckerberg 說這需要更多研究才能有答案。

16 34:50
Metaverse 與 AI 的交會

Zuckerberg 說希望世界走向很多人都能用 AI 工具把生活過得更好,而不是被單一個超級 AI 主宰。

17 37:05
AI 人格分三種

單純問答的助理型、幫小生意接待客人的商業型,以及說笑話、玩文字冒險遊戲的娛樂型,各自有不同的應用場景。

18 40:19
Snoop Dogg 當地下城主

Meta 內部測試最受歡迎的 AI 角色之一就是這個文字冒險遊戲的地下城主;Zuckerberg 也談到要讓 AI 忠實代表一位真實創作者,技術門檻比做全新角色高很多。

19 43:59
看到自己的分身「定格」

Lex 形容那種感覺像第一次照鏡子的猩猩,是一種既真實又數位的全新體驗。

20 45:50
為什麼堅持「實體」很重要

Zuckerberg 說人本來就是會到處活動的生物,不是關在螢幕前的存在;他也談到 metaverse 裡能不能為所欲為的界線,判準是會不會對別人造成實質傷害,跟現實世界的規範邏輯類似。

21 49:47
遠距工作不用再搭飛機

Zuckerberg 說這種技術能省掉真的搭飛機碰面才有的臨場感,未來也許能讓大家想住哪就住哪,同時還保有實體共事才有的信任感與人際連結。

22 51:57
Llama 2 開源的判斷

Zuckerberg 認為開源的效益明顯大於風險,下載與使用量比預期好很多;下一代模型還在早期階段,這個月不會有,他希望準備好時也能開源。

23 56:49
AI Studio 讓人人都能捏角色

Meta 正在做的平台,目標是讓創作者社群自己打造專屬的 AI 角色,而不只是 Meta 內部做。

24 57:48
收尾感言

Lex 說整場聊完還是很難相信自己在跟本人對話,對方明明不在現場卻感覺像坐在旁邊。

25 1:00:25
什麼才是「真實」

Lex 認為讓人覺得「真」的是主觀的臨場感受,而不是有沒有真的在同一個空間;Zuckerberg 補充,重點是把過去只有實體見面才有的社交與心理好處帶進來。

26 1:02:11
從大頭貼到臨場感

Zuckerberg 回顧社群平台早期只有一張大頭貼加興趣清單,後來變成照片、影片,他認為下一步就是這種臨場感,這才是 Metaverse 真正要解決的下一個前沿問題。