電腦展熱潮與 AI 硬體機會
JoJoe來賓JuJun 哥來賓
YouTube 標題:EP132 | COMPUTEX 台灣科技業出頭天 Feat. Joe
電腦展這一年的主角換成 AI 伺服器和 AI PC。兩位來賓從 PC 與雲端兩側談新聞背後的產業變化,也聊想進 AI 硬體該怎麼看機會。
重點
- AI PC 還在起跑Joe 去看了 AMD、Qualcomm、Intel 的 keynote,三家分別喊 50、45、48 TOPS,微軟 Copilot PC 的門檻是 40 TOPS 以上。Joe 覺得光靠微軟現在那三個功能還不夠讓大家換機,比較看好明年或之後。
- 伺服器第一次當主角Jun 哥說往年電腦展伺服器幾乎沒人看,今年焦點都在 server。台灣廠商先靠品牌代工累積經驗,後來跟雲端大廠合作做白牌客製,節目裡估計全球約八成 AI 伺服器由台灣製造或參與設計。Jun 哥也提醒,台灣新聞炒得像八點檔,國外沒這麼瘋,要專注技術與趨勢,別盲目跟風。
- Intel 這次放低姿態Intel 的 keynote 說「IT」代表 Intel 與台灣,提到兩次台積電,也說明年會再來。有人記得兩年前 Intel 還說台灣地緣風險太高;Jun 哥說以前伺服器這邊連 CEO 都不會出現,這次算是肯定台灣的硬體實力。
- 想進 AI 硬體Jun 哥說 ODM 和外商從資深到新人都有缺,門檻比較深,但台灣有不少高手可以帶。節目也聊到 NVIDIA 每年推新平台、同業只能跟,押錯公司可能得重來,不過產業夠大,技能帶得走。Joe 則說每個人都該會用 AI 工具、練好基本功,並花時間跟人往來找機會。
- AI 讓人更累,台灣缺軟體與資料AI 加快研發,產品週期縮短,大家被迫跟上,反而更捲。也有人認為這屆電腦展缺 AI 軟體。談到 AI 主權,台灣要自己訓練模型,難處在高品質的出版資料不夠,版權的成本也越來越高。
- 散熱與連接是下一關新一代伺服器耗能與發熱越來越高,液冷需求變多,被視為台廠強項;晶片之間的高速連接目前由 NVIDIA 自己做,其他廠商想合作訂開放標準。
時間軸
| 03:44 | 開場與主題抹布開場,這集聊 Computex。疫情期間沒有實體展,2023 年才回來;加上 AI 與美中貿易戰,台灣這波漁翁得利,今年黃仁勳與蘇姿丰都來台演講。 |
| 05:53 | 介紹主持人與來賓雪柔與琳恩都沒去現場,琳恩在新加坡追台灣媒體的報導。Joe 在美商個人電腦公司做 PM,專長 AI PC;Jun 哥是外商機構工程師,在伺服器與雲端產業將近 20 年,還沒去逛展。 |
| 10:21 | 黃仁勳與蘇姿丰的演講黃仁勳講新 GPU、每年推出一個新平台、能組成虛擬助手的 NIM 與數位孿生;蘇姿丰說現在才是十年 AI 超級循環的開端。 |
| 13:48 | Joe 談三場 keynoteAMD 先喊 50 TOPS,約別人的 3 到 4 倍、7 月上市;Qualcomm 喊 45 TOPS 並主打 ARM 省電;Intel 先講伺服器,最後才說 PC 有 48 TOPS,時間點已經落後。Joe 覺得 AMD 最強,Intel 比較沒自信但很拉近跟台灣的關係。 |
| 17:00 | TOPS、NPU 與 Copilot PC 門檻解釋 TOPS 是衡量 AI 算力的單位;本地運算能保護機密、也不用怕應用被擋;ARM 筆電過去賣不好是軟體跟不上;微軟要求 NPU 達 40 TOPS 以上才算 Copilot PC,不是有 NPU 就行。 |
| 21:27 | Copilot PC 三個功能6 月 18 日上線的三項:Recall 能搜尋過去的桌面操作,預設不開、有隱私顧慮;簡單幾筆加 prompt 就能生圖;即時翻譯,至少 44 種語言可轉英文、21 到 22 種可轉中文。 |
| 24:57 | 從 AI PC 轉到伺服器黃仁勳找台灣各大廠老闆吃飯,有人說去的股票會漲。Jun 哥說往年伺服器不是電腦展重點,去年 ChatGPT 爆紅、黃仁勳來台後才改觀,台灣硬體廠十年的投入今年開花。 |
| 27:14 | 代工不簡單,白牌是利基伺服器規範多、設計難,台灣過去做品牌代工累積實力。品牌伺服器功能全包、價格高;Google、亞馬遜、Microsoft 這類雲端大廠則找白牌客製,只針對儲存、記憶體、運算速度優化,成本低、性價比好。 |
| 30:15 | 中美貿易戰與陸資挖角貿易戰是分水嶺:百度、阿里巴巴、騰訊開始自做伺服器,在台灣設外商名義的公司挖工程師。據說一開始 ODM 的薪水直接 take 2、take 3,整個 team 挖;後來條件沒那麼好,仍比台商優渥。 |
| 33:08 | 台灣在 AI 伺服器的位置從代工變成全球伺服器約六、七成,現在 AI 伺服器約八成由台灣製造或參與設計。仁寶新董事長說沒進這塊很可惜、預計花三年追上;華碩、技嘉等都有完整產品線。 |
| 36:03 | 展場像追星,PC 這邊的看法現場民眾像追星,show girl 變少,改成黃仁勳與蘇姿丰的簽名拍照。Joe 做 PC 十幾年,打算繼續深耕而不是馬上轉 AI;只看微軟那三個功能,他覺得今年不是換機年。也有人期待 6 月 11 日的蘋果大會,看 ARM 與 x86 的較量。 |
| 40:04 | 熱潮別炒過頭Jun 哥很開心伺服器被看見,會帶動 PC、筆電、手機,但台灣新聞有點像八點檔,國外沒這麼瘋。節目也提到政策鬆綁,有業者宣布要設千人規模的研發中心,北中南多個縣市在爭取。 |
| 43:05 | 大廠持續加碼,Intel 轉彎雲端大廠仍會擴大投資,產業鏈在台灣三小時車程內就能完成。Intel 這次說明年會來、合作 39 年,也提到兩次台積電;Jun 哥認為它是落後者姿態,但良性競爭對台灣不差。 |
| 46:49 | 想進 AI 硬體怎麼切入Jun 哥說 ODM 與外商的資深、初階職缺都有,人才不足;可以現在就切入伺服器,也可以等基礎設施擴散到手機、筆電的第二、三波。鴻海、廣達到 AWS、Google、微軟、Meta 都有需求。 |
| 49:48 | 競爭白熱化NVIDIA 每年推新平台,同業得馬上跟進;過去十多年大家照 Intel、AMD 的 roadmap 走,現在被 NVIDIA 打亂。選錯公司、押錯寶可能重來,但產業夠大,技能帶得走。 |
| 51:58 | Joe 談基本功與人脈Joe 是 PM 出身,不寫程式;公司同事在教怎麼寫 prompt,他認為人人都該會用 AI 工具。另一塊是多花時間跟內外部的人做 one on one,老闆知道你很會用,就會幫你找資源。 |
| 53:39 | AI 讓人更累更捲以前以為 AI 做事、人放假,結果 AI 在畫圖彈琴,人還在工作。AI 加快研發,別人半年出產品你也得跟,公司不會裁人反而更投入人力;琳恩說工具都是新的,本業之外還要花心力學,學的又不一定是之後的主流;也有人說常常學沒多久,OpenAI 一發表新的又全部打掉。 |
| 56:14 | 缺 AI 軟體、資料與主權這屆除了 NVIDIA 少看到軟體平台,一樓有趨勢科技講 AI 防毒。談到 AI 主權:模型若都給國外訓練,出來會是簡體字;有台灣教授說缺的是高品質出版資料,版權成本也越來越高。 |
| 59:36 | AI 手機與機器人有人認為 AI 手機比 AI PC 更有爆發力,要看蘋果發表會。Joe 說機器人今年沒有新突破,AI 在使用者端爆發可能要等明年;家事機器人還很遠,索羅門股價今年翻三倍。 |
| 1:03:58 | 液冷與晶片連接每年新一代算力、耗能與發熱都更高,今年水冷變多,是台廠強項。水帶走熱的能力是空氣的好幾十倍,廢熱也能再利用,主持人們還開玩笑說旁邊可以開溫泉旅館。晶片之間的 NVLink 由 NVIDIA 自己做,其他廠商想弄開放標準。 |
| 1:10:15 | 產業還會紅,薪資行情台灣站在歷史轉捩點;蘇姿丰說紅十年,有人說黃仁勳預期 AI 至少還有五年高速成長。有人問過業界,做這塊 5 年以上大約 150 到 180,幾年前大概是破百。 |
| 1:12:22 | Joe:不能只當專才Joe 說現在不能只當專才,要有各種技能,同事會去考 AI 相關的認證、在 LinkedIn 上寫出來;內部也有同事被叫「Mr. AI」。要好好利用 AI,而不是被它利用。 |
| 1:14:46 | 聊天室:AMD 股票與機器人聊天室問能不能買 AMD,Joe 說若要投就選講得最好的 AMD;也有人半開玩笑說裁員的公司該投資,Azure 剛裁了 1500 人。留言提到 Optimus,有主持人說看過它摺衣服的影片,摺得很慢,影片底下有人留言:比老公快就好。 |
| 1:17:58 | 站在風口也要一直學被問到是否押對寶,來賓說仍有危機意識,要一直學、保持競爭力。一位主持人用農夫和農機比喻:上班族產量比不上別人就會被淘汰,不能說自己的報告是有機的。 |
| 1:20:40 | 聊天室:浸沒式與水冷片液冷有兩種:整台泡進不導電的液體,或用水管加水冷片。前者門檻高、液體貴,機櫃要垂直放、影響整個設施;兩種都有人投資,但目前看起來多是水管。 |
值得記的話
「大家要靜下心來還是專注在技術跟一些它的未來的發展」Jun 哥談伺服器熱潮41:12
「第一個你自己要先把自己的基本功練好」Joe 談 AI 時代的職涯53:07
「就可能我現在學習的跟之後真的主流要用的又不一樣」琳恩談 AI 工具學不完55:54
「我覺得現在的時代真的不能做專才耶」Joe1:12:22
「我們就是生產者 AI 是來取代生產力的我們就是那個農夫」一位主持人用農夫與農機比喻 AI1:18:45
名詞與人物
- Joe
- 本集來賓,在美商個人電腦公司做 PM,專長 AI PC,去了 AMD、Qualcomm、Intel 的 keynote
- Jun 哥
- 外商機構工程師,在伺服器與雲端產業將近 20 年,講這集時還沒去逛展
- TOPS
- 每秒可做幾兆次運算,用來衡量 AI 算力;節目裡 AMD 50、Qualcomm 45、Intel 48
- NPU
- 筆電裡專做 AI 運算的單元,用來平衡耗電;微軟要求 40 TOPS 以上才算 Copilot PC
- Copilot PC
- 微軟的 AI PC 規格,6 月 18 日上線 Recall、生圖、即時翻譯三個功能
- Recall
- 把桌面操作錄下來,之後用關鍵字搜尋;預設不開,要自己啟用
- 白牌伺服器
- 不掛品牌、依雲端大廠需求客製的伺服器,對比 HP、Dell 的品牌伺服器
- ODM
- 負責設計並代工的廠商,節目裡指台灣的伺服器代工業者
- AI 主權
- 每個國家要能自己訓練模型,不然出來的結果偏向別國資料,例如簡體字
- 液冷
- 用水或液體帶走伺服器的熱,分整台浸泡與水管加水冷片兩種
- NVLink
- NVIDIA 自己做的晶片之間高速連接,其他廠商想弄開放標準
延伸
- 6 月 11 日的蘋果大會被當成 ARM 與 x86 在 AI 上較勁的下一個觀察點。
- 節目提到 AI 手機可能比 AI PC 更早爆發,要看蘋果這次怎麼講。