Etched 推出只能跑 Transformer 的 Sohu 晶片。哈利整理它的賭注從哪來、官方數字可不可信，以及真做出來對 NVIDIA 有多大威脅。
重點
為什麼只做 Transformer。Etched 的邏輯是 Scaling Law 讓模型越做越大，需要的算力跟著暴增，但 GPU 的算力密度已經不太進步，只能靠專業化。Transformer 幾乎稱霸所有領域，架構也很少改，所以他們押這一個。
哈利的風險判斷。Transformer 一旦被 SSM、RWKV 這類替代架構取代，Etched 的產品就沒人要。哈利自己會押 Transformer 繼續獨佔，但覺得 Etched 有點自信爆棚。
官方數字還沒被驗證。Etched 說 8 張 Sohu 的伺服器機架可以取代 160 個 H100，跑 Llama 70B 是每秒 50 萬個 token。但沒有 Demo、沒有實驗環境說明，哈利猜這些是理論估算。
做得出來嗎。哈利認為硬體比較單純，台積電 4 奈米產能與 HBM 他們說都訂好了；真正的難關在軟體，要整合 PyTorch，做到最佳化可能要一兩年甚至更久。
市場有多大。哈利用自己的 3P 框架（Product、Prototype、Prospect）分類現有 AI 應用，認為真正大量的推論需求還在前景階段，Sohu 這種便宜又快的推論晶片可能把一部分原型變成真正的產品。
NVIDIA 的處境。哈利認為推論市場最終可能輸給 ASIC，但訓練端 NVIDIA 優勢太大；NVIDIA 也能自己做 ASIC，所以結論是未來都難說。
時間軸 點時碼從那一段開始
- Etched 為什麼爆紅2022 年在矽谷成立，做只能跑 Transformer 的 AI 晶片。爆紅有兩個原因：產品罕見，以及剛募完 120M，投資人有 Peter Thiel。
- 從 Scaling Law 講起以下主要整理 Etched 部落格的故事線，中間有哈利自己補的內容與調過的順序。Llama 3 400B 與 GPT-2 架構幾乎一樣，差在規模：算力多了 5 萬倍。
- 資料中心預測與 Aschenbrenner前 OpenAI 員工 Leopold Aschenbrenner 預期 2026 年出現 10 Billion 規模、1GW 的資料中心，2030 年 1 Trillion、100GW。哈利岔題介紹他被開除的經過與 AGI 時間表。
- GPU 進步撞牆摩爾定律停滯，Etched 說過去四年 GPU 算力密度只提升 15% 左右。哈利補充 B200 的進步來自兩個晶粒拼在一起與降低資料精度。
- 專業化與 Algorithm Specific IC解法是專業化，ASIC 就是這條路，TPU、挖礦晶片都是例子。Sohu 更進一步，只跑一種演算法。
- Transformer 為什麼稱霸圖像、影片生成與特斯拉 FSD 都在用；什麼模態都能學、可以平行訓練、能 Scale。架構自 2019 年幾乎沒變。
- 押注 Transformer 的風險模型大到十億到百億級，沒人敢賭新架構。但若換成 SSM 或 RWKV，Etched 就完了；哈利自己押 Transformer，但認為 Etched 自信爆棚。
- 沒有 Demo 的疑慮沒有網站、Demo 影片或實驗設定，只有公佈的數字。哈利拿 Groq 對照，推測那些數字是理論估算。
- 官方公佈的效能數字Sohu 只做推論不做訓練。8 張的機架跑 Llama 70B 是 50 萬 token 每秒，H100 伺服器 23000，B200 是 45000。價格說會便宜很多，但沒有數據。
- 為什麼這麼快捨棄 GPU 上為了通用性而生的複雜度。Etched 算出 H100 只有 3.3% 的電晶體專門用於矩陣乘法；Sohu 只留 Transformer 一套核心。
- 做得出來嗎：硬體創辦人是二十出頭的 Harvard 輟學生，外界多半懷疑。哈利認為硬體不難，Etched 說已向台積電訂了 4 奈米產能，HBM 也談好。
- 做得出來嗎：軟體軟硬整合是 NVIDIA 靠 CUDA 做了多年的功夫。Sohu 的軟體比 CUDA 單純，但要整合 PyTorch，哈利估計要一兩年才能最佳化。
- 市場有多大：3P 框架兩個問題：市場多大、能吃多少。哈利把 AI 應用分成 Product、Prototype、Prospect；目前 Product 只有 GitHub Copilot 與 ChatGPT 這類聊天機器人。
- 把原型變成產品最大的推論需求還在前景階段。快又便宜的推論可能讓 Devin 這類原型變成產品，哈利還想像了即時生成簡報畫面的用法。
- 能吃到幾成市場簡單的應用會先被邊緣裝置吃掉，邊緣有隱私、低延遲、免費三個好處。剩下的市場幾乎都是 Transformer，也是 Sohu 要和 NVIDIA 爭的部分。
- NVIDIA 的處境哈利認為推論端 NVIDIA 最終會輸給 ASIC，但訓練端優勢太大；NVIDIA 也有錢自己做 ASIC，所以未來難說。
值得記的話
▶ 19:35「這個 Transformer 的架構呢基本上是沒有什麼改變的」
▶ 20:51「如果真的要我壓一邊我當然是覺得我當然是壓 Transformer」
▶ 22:55「他們就是只有他們自己公佈的數據然後就真的就只有那幾個數字而已」
▶ 31:12「很大一部分是軟硬整合在決定的」
▶ 43:30「我自己真的是覺得 NVIDIA 在這個推論的市場可能真的最終會輸給 ASIC」
名詞與人物
- Etched
- 2022 年在矽谷成立的 AI 晶片新創，名字取自把 Transformer「刻」在晶片上；剛募完 120M，投資人有 Peter Thiel。
- Sohu
- Etched 的晶片，只能跑 Transformer、只做推論；哈利提醒拼法是 S-O-H-U。
- Scaling Law
- 參數與訓練資料給得越多模型越強，而且幾乎可以預測，是這集立論的起點。
- ASIC
- 專為某種應用設計的 IC；Sohu 被形容成連演算法都固定的 Algorithm Specific IC。
- Leopold Aschenbrenner
- 前 OpenAI 員工，被開除後寫了《Situational Awareness》，AGI 時間表很短。
- Groq
- 同樣做 LLM 專用 ASIC 的公司，有公開網站讓人體驗 LPU，哈利拿來對照 Etched 沒有 Demo。
- CUDA
- NVIDIA 從 2006 年開發的軟硬整合平台，含編譯器與各種函式庫，是 NVIDIA 的軟體護城河。
- 3P 框架
- 哈利自己提出的分類：Product 已創造價值、Prototype 即將到來、Prospect 連雛形都沒有。
- Devin
- AI Coding Agent，哈利歸為 Prototype，認為推論變快變便宜後可行性會高很多。
延伸
- 哈利說 Groq 的 LPU 為什麼快，在科技浪 EP29 有詳細解析；Devin 見 EP31。
- 哈利提到上一集談過 SSM 這類 Transformer 的替代架構，B200 的進步來源在 EP32 講過。