EP 3982023-09-281:04:38 ROUND 3
元宇宙裡的擬真分身初體驗
Mark Zuckerberg
Lex 戴上 Meta 擬真分身頭盔跟 Zuckerberg 隔空對談,聊分身技術、Quest 3 與 AI 人格。
Mark Zuckerberg: First Interview in the Metaverse | Lex Fridman Podcast #398在 YouTube 看 ↗
重點6 條
- 擬真分身怎麼做到的:Meta 的 Codec Avatars 計畫讓兩人各自掃描臉部與各種表情,壓縮成一組編碼,戴上頭盔後即時重建成對方的臉,連雀斑、膚色深淺、不對稱、笑起來眼角的細節都保留,比傳輸整段 3D 影像更省頻寬。目前掃描要花好幾個小時,Zuckerberg 說目標是未來用手機掃兩三分鐘就能做到類似品質。
- 表情要能自己調:每個人臉部動作被機器捕捉的幅度不一樣,Zuckerberg 說要不要讓使用者調整、調到多少還是未定的問題;就他自己來說,常因為表情偏僵硬被吐槽,會希望分身比本人的臉更能表達情緒。
- Quest 3 主打混合實境:Quest 3 這年秋天上市,500 美元,晶片與感測器都比正在用的 Quest Pro 好卻更便宜,Zuckerberg 認為能看到周遭真實環境比純 VR 更讓人有安全感,是這代產品的關鍵賣點。
- 身分與意識的邊界:Zuckerberg 提到分身其實是「掃描當下」的自己,不會隨著本人每天的變化更新;兩人也聊到如果能把已故親人的樣子做成分身,會不會反而讓人走不出悲傷,認為這需要更多研究才能有答案。
- AI 人格分三種用途:Meta 準備在 Connect 之後推出的 AI 人格大致分助理型(單純回答問題)、商業型(幫小生意接待客人)、娛樂型(說笑話、玩文字冒險遊戲,內部最受歡迎的是一個地下城主角色),未來還要做 AI Studio 讓一般人也能自己捏一個。
- Llama 2 開源的判斷:Zuckerberg 認為開源 Llama 2 的效益明顯大於風險,下載與使用量比預期好;下一代模型還在早期階段,這個月不會有,他希望準備好時也能開源。
時間軸26 段
Lex 一戴上頭盔就直呼逼真,明明隔著幾百英里,還聊到燈光可以隨意調整;Lex 說靠這麼近也不覺得尷尬,Zuckerberg 說其實有,開錄前已經把他往後挪了幾英尺。
Zuckerberg 解釋這是 Meta 的研究計畫:先掃描臉部各種表情做成模型,再壓縮成即時傳輸的編碼;Lex 說讓他覺得逼真的反而是雀斑、皺紋這些瑕疵,Zuckerberg 補充眼睛是關鍵。
Lex 分享自己去 Pittsburgh 做完整掃描要花好幾小時,Zuckerberg 說目標是未來只要用手機拍兩三分鐘就能做出類似品質的分身。
Zuckerberg 說自己常被吐槽表情僵硬,認為未來應該讓使用者調整分身的表情放大程度,才能比本人的臉更能表達情緒。
Zuckerberg 擔心這種臨場感很難用 2D 影片傳達給旁觀者;兩人也討論還要多久才能讓一般人用手機掃描就用上這項技術。
目前只有臉;Zuckerberg 說正在考慮身體用較低解析度拼上去,因為臉部表情牽涉的資訊量遠比手腳動作重要。
定價 500 美元,晶片與感測器都比正在用的 Quest Pro 升級,Zuckerberg 強調重點是把先進技術做到大家都買得起。
因為看得到周遭真實環境,不用擔心揮手打到旁邊的家具,Zuckerberg 認為這種安全感會讓更多人願意用。
舉了一個用手在桌上彈鋼琴的示範,不靠手把也能精準抓到手部動作,延遲低到跟真實一樣。
Zuckerberg 認為真正的「真實世界」該是物理加數位的結合,不是只有物理才算數;他也舉例螢幕、書、桌遊以後都可能變成隨手叫出來、用完就收掉的全像投影。
Zuckerberg 舉例未來開會可能有人本人在場、有人以全像投影出席,甚至讓 AI 同事也用擬真分身加入會議;他也談到擬真分身跟卡通分身未來會怎麼分工,覺得兩種可能都會有各自的用途,只是比例還不確定。
Lex 說只要夠擬真,就算沒有真的在一起,跟朋友在海邊喝啤酒的臨場感也算貨真價實的友誼體驗,他覺得已經好到可以長期這樣用。
Lex 說聊到後來會忘記眼前的其實是分身,兩人接著聊起這算不算一種哲學問題。
Zuckerberg 提到分身是掃描當下那一刻的樣子,不會隨本人每天的變化更新,這跟人的體態本來就會浮動其實是類似的問題。
兩人聊到如果能把已故家人做成分身互動,對正在悲傷的人到底是幫助還是阻礙,Zuckerberg 說這需要更多研究才能有答案。
Zuckerberg 說希望世界走向很多人都能用 AI 工具把生活過得更好,而不是被單一個超級 AI 主宰。
單純問答的助理型、幫小生意接待客人的商業型,以及說笑話、玩文字冒險遊戲的娛樂型,各自有不同的應用場景。
Meta 內部測試最受歡迎的 AI 角色之一就是這個文字冒險遊戲的地下城主;Zuckerberg 也談到要讓 AI 忠實代表一位真實創作者,技術門檻比做全新角色高很多。
Lex 形容那種感覺像第一次照鏡子的猩猩,是一種既真實又數位的全新體驗。
Zuckerberg 說人本來就是會到處活動的生物,不是關在螢幕前的存在;他也談到 metaverse 裡能不能為所欲為的界線,判準是會不會對別人造成實質傷害,跟現實世界的規範邏輯類似。
Zuckerberg 說這種技術能省掉真的搭飛機碰面才有的臨場感,未來也許能讓大家想住哪就住哪,同時還保有實體共事才有的信任感與人際連結。
Zuckerberg 認為開源的效益明顯大於風險,下載與使用量比預期好很多;下一代模型還在早期階段,這個月不會有,他希望準備好時也能開源。
Meta 正在做的平台,目標是讓創作者社群自己打造專屬的 AI 角色,而不只是 Meta 內部做。
Lex 說整場聊完還是很難相信自己在跟本人對話,對方明明不在現場卻感覺像坐在旁邊。
Lex 認為讓人覺得「真」的是主觀的臨場感受,而不是有沒有真的在同一個空間;Zuckerberg 補充,重點是把過去只有實體見面才有的社交與心理好處帶進來。
Zuckerberg 回顧社群平台早期只有一張大頭貼加興趣清單,後來變成照片、影片,他認為下一步就是這種臨場感,這才是 Metaverse 真正要解決的下一個前沿問題。