← 所有節目科技浪

2024 · EP59 · Meta 系列

Connect 現場與 Orion 眼鏡

2024 年 9 月 30 日 · 74 分鐘

▶ 收聽這一集

原標題:EP59 - 親自參與Meta超精彩發表會!潮男Zuck做出鋼鐵人的眼鏡了?

哈利受邀到灣區參加 Meta Connect,先聊現場見聞和 Quest 3S、Ray-Ban 智慧眼鏡的更新,再花大半集拆解不會上市的 AR 眼鏡原型 Orion,以及祖克柏為什麼押注它。

重點

Quest 3S 降到 299 美金。用跟 Quest 3 同一顆 Snapdragon XR2 Gen2 晶片,只降低解析度與鏡片規格,價格大約是 Quest 3 的六折。哈利覺得 Meta 賣這兩款頭盔一定是虧錢在賣。

Ray-Ban 智慧眼鏡這次只更新軟體。新增掃 QR Code、打電話、記住停車位置,即時口譯還在開發中。哈利實測時記憶功能出錯、訊息一直傳錯人,但他認為這類問題靠 LLM 進步和打磨體驗就能解決。

Orion 是可用但不賣的原型。碳化矽鏡片加 Micro LED 投影機做出 70 度視野,另有神經手環和外接運算裝置。造價約一萬美金,Meta 早就決定這一代不上市,只小量製作給內部和少數人測試。

散熱與功耗是最硬的一關。眼鏡裡不能裝風扇,卻要即時跑手部辨識、眼動追蹤和 SLAM。哈利說一般需要幾百 mW,這支眼鏡一開始設計的限制是十幾到幾十 mW,所以 Meta 用鎂合金外框,並自己設計了上十片晶片。

祖克柏的兩個理由。他認為 AR 眼鏡是下一代運算平台,一來比手機更不會阻斷人與人的連結,二來能讓 AI 共享使用者看到的畫面。哈利對第一點不太買單:戴眼鏡處理訊息時,一樣沒有在跟對面的人互動。

哈利的看法。他用生產力、溝通、娛樂三種需求來看,覺得眼鏡能解決生產力和溝通的一大部分,但還要克服大眾願不願意戴眼鏡,以及電池這類物理限制。

時間軸 點時碼從那一段開始

  1. 灣區四天的行程住 Palo Alto 的喜來登飯店,旁邊就是 Stanford。機票、旅館、Uber 和餐點都由 Meta 負擔,哈利說這是他今年出差最舒適的一次。
  2. 限量透明款眼鏡現場約五十幾位創作者和媒體都拿到一副透明鏡身的 Ray-Ban Meta 智慧眼鏡,哈利說他超愛。
  3. 現場見到祖克柏本人出場有潮感,但新鮮感過後和看直播差不多。到場的好處是能跟創作者、Meta 的 AI 與軟體負責人當面交流,也參加了給媒體的 Gen AI 圓桌。
  4. 不舒適的地方12 小時的豪華經濟艙很難熬;Palo Alto 的網路很差,T-Mobile 店員說這一帶就是出了名的訊號差,只有 Meta 園區的 Wi-Fi 夠快。
  5. 今年的 Connect 為什麼精彩哈利贊同「這是科技巨頭裡最驚艷的一場」的說法,並拿 Google I/O 被 GPT-4o 搶戲對比。這次 OpenAI 爆出 CTO Mira Murati 與資深員工離職,也沒蓋過 Connect。今年焦點在元宇宙,AI 沒有太新的東西。
  6. Quest 3S299 美金,比 Quest 3 的 500 美金起跳便宜,換成較舊的 Fresnel 鏡片、解析度從 2064x2208 降到 1832x1920。哈利試玩後覺得解析度差異不明顯,反而讓遊戲更順。
  7. Horizon OS 與開發者支援作業系統已開放給 ROG 等其他裝置,商店整合成一個入口,這次又補上更完整的 SDK 與文件。哈利認為應用程式商店本來就比 Vision Pro 豐富。
  8. Ray-Ban 智慧眼鏡的 AI對它說「Hey Meta」可以問文字問題,說「look and」則會先拍照再交給多模態模型回答,也能連 Spotify、WhatsApp 等 App 放音樂、傳訊息。
  9. 新功能與實測問題這次沒有新款式,更新在軟體:掃 QR Code、打電話、記住停車位,以及還在開發的即時口譯。哈利實測時 Recall 一直出錯、訊息傳錯人。
  10. 台灣還買不到Meta AI 目前不開放給台灣,連 VPN 也進不去。哈利推測是中文能力還沒調到可以上市的程度。
  11. Orion 登場祖克柏稱它是人類造過最先進的 AR 眼鏡。它很厚,鏡片是真的透光的 See Through,不是 Vision Pro、Quest 3 那種靠外接相機的 Passthrough。
  12. 不上市與試用 Demo這一版已決定不上市,只給精選的名人和媒體試用。Demo 有上網、視訊、乒乓球,以及看著桌上食材問 Meta AI 能做什麼飲料。哈利認為乒乓球和食材標籤才真正做到虛實互動。
  13. 眼鏡本體的顯示技術Orion 由眼鏡、神經手環、運算裝置三部分組成。鏡片用碳化矽做出奈米級波導,光來自 Micro LED 投影機,目標是 70 度的視野,一般 AR 眼鏡是 30 度甚至以下。
  14. 神經手環與四種操作可用眼動、手勢、語音和手環控制。手環偵測手部肌電圖,在手環上用機器學習判斷動作,再無線傳給眼鏡;比相機辨識可靠,但打乒乓球這類需要手位置的場合仍得靠手部追蹤。
  15. 外接運算裝置作業系統與應用程式的邏輯幾乎都在這個口袋大小的裝置上跑;眼鏡只負責眼動追蹤、手部辨識和 SLAM。
  16. 原型的來歷與造價祖克柏起初想直接賣,內部估計成功機率約 10%,要發明接近 10 項新技術。兩年前決定改做原型、小規模製作一兩千支。一支造價約一萬美金;祖克柏在一次演講提過,研發費至少五十億美金。
  17. 散熱、功耗與自研晶片沒辦法裝風扇,卻要即時跑多種演算法,功率限制只有十幾到幾十 mW。Meta 用鎂合金外框,並為各演算法自己設計了上十片晶片。
  18. 下一代運算平台哈利說 PC、手機之後的主要平台還不確定,祖克柏押的是智慧眼鏡。他認為祖克柏在意這件事,是因為 Facebook 在手機時代受制於 iOS,例如蘋果取消追蹤。
  19. 祖克柏的兩個理由一是減少人與人之間的阻隔,二是眼鏡能和 AI 共享視覺,例如直接翻譯菜單。祖克柏也認為 Quest 和 Ray-Ban 眼鏡以後仍有一席之地。哈利對第一點持保留,覺得那還是一心二用的問題。
  20. 哈利的框架:三大需求運算的需求是生產力、溝通、娛樂。他認為 AR 眼鏡能解決生產力與溝通的一大部分,尤其搭配 Agent 化的 AI 和 3D 的 Avatar 通話。
  21. 心理與技術的挑戰哈利擔心大眾不一定想戴眼鏡;技術上,顯示已接近物理極限,電池能否撐一整天也是問號。
  22. AI 部分留到後面Llama 3.2 和 IG Reels 換語言等 AI 內容他覺得沒那麼重要,這集因為 Orion 聊太久沒講到,也預告下週放國慶連假休一集。

值得記的話

  • 「1 到 99 通常是比 0 到 1 更簡單一點的」

    ▶ 51:37
  • 「用將近十分之一的功率去做到相同程度的運算」

    ▶ 52:54
  • 「Orion 這種東西不會被人類開發出來的」

    ▶ 54:28
  • 「手機解決了溝通筆電解決了生產力」

    ▶ 1:08:01
  • 「眼鏡真的是大家都會想戴的東西嗎」

    ▶ 1:11:18

名詞與人物

Meta Connect
Meta 一年一度的開發者大會,過去偏重元宇宙,近兩年多了 AI 這條主線。
Quest 3S
Meta 新推的入門款 MR 頭盔,299 美金,處理器與 Quest 3 相同。
Horizon OS
Quest 的作業系統,今年開放給 ROG 等其他廠商的裝置。
Meta AI
整合在 Ray-Ban 智慧眼鏡裡的 AI 助理,目前不開放給台灣。
Orion
Meta 的 AR 眼鏡原型,真的可用,但這一代決定不上市。
Neural Wristband
神經手環,偵測手部肌電圖來判斷操作,哈利自己翻成神經手環。
Compute Puck
Orion 的無線外接運算裝置,約行動電源大小,負責跑作業系統與應用邏輯。
波導
刻在碳化矽鏡片上的奈米級 3D 結構,用來把投影的光彎成使用者看到的畫面。
Field of View
視野的廣度;Orion 做到 70 度,一般 AR 眼鏡約 30 度甚至以下。
Passthrough 與 See Through
Passthrough 是頭盔靠外接相機把外界影像轉給你看,See Through 是鏡片本身透光。
Codec Avatar
Meta 的 3D 擬真頭像技術,在運算力強的裝置上能呈現細微表情。
SLAM
讓裝置知道自己在 3D 空間中位置的演算法,Orion 的眼鏡本體負責跑它。

延伸

  • 哈利說下一代運算平台的框架(生產力、溝通、娛樂)是他之前在節目裡講過的。
  • 這集沒講到的 Llama 3.2 與 IG Reels 換語言功能,他原本打算放在 Orion 之後談。