哈利先聊 Mythos 協助繞過蘋果 MIE、科技股過熱與能源瓶頸，再拆解 Thinking Machines 的 Interaction Model：為什麼他看好這條路，又為什麼短期內成本撐不起來。
重點
Mythos 五天繞過 MIE。Calif 團隊找專家與 Mythos 協作，五天內繞過蘋果花五年打造的記憶體安全機制。哈利認為這再次證明新一代模型大幅降低了駭客門檻，主流軟體若不趕快補漏洞，大規模攻擊的機率會上升。
股市熱得太快。哈利說三月底還在伊朗戰爭的恐懼裡，一個月後記憶體股就翻倍。他不覺得長期是泡沫，但短期遇到瓶頸有可能出現一波修正，能源是他最在意的一個。
能源會先卡住半導體。他的推演是電力天花板先到，買了 GPU 也跑不動，半導體供應鏈可能修正；但太空資料中心若被證明可行，半導體又會變回瓶頸。數字他湊不齊，所以結論是持股抱五年。
Interaction Model 不再輪流講話。Thinking Machines 的模型把輸入與輸出切成 200 毫秒的小塊，同時進行，所以可以邊聽邊看邊插話，不必像現在的語音模式等你講完。
互動能力要做進模型裡。Thinking Machines 的立場是靠外掛流程做出來的互動很笨，哈利把它看成 The Bitter Lesson 的又一個例子。完整系統是 Interaction Model 負責對話，背景的 Agent 模型負責查資料與做事。
看好長期、不看好短期。哈利認為它是互動介面上嚴格更好的新典範，但他自己的分析是批次小、KV Cache 常駐、Token 數暴增，成本會遠高於一般模型，短期不會成為主流。
時間軸 點時碼從那一段開始
- 本週頭條預告哈利把 Thinking Machines 的 Interaction Model 當成本週頭條，說它有機會比 GPT-5.5、Opus 4.6 與 4.7 的推出更有意義，並先說會聊幾則小新聞。
- Calif 用 Mythos 找漏洞Calif 安全團隊宣稱用 Mythos 找到最新 M5 Mac 的 macOS 重大漏洞；哈利回顧當初「恐懼行銷」與「真有威脅」兩派的爭論，自己站在後者。
- 繞過蘋果 MIEMIE 是蘋果花五年、數十億美金做的硬體層級記憶體保護；Calif 五天繞過它，能讓普通權限的程式提升權限。他們先向蘋果通報，等補好才公開 55 頁報告。
- 駭客門檻降低漏洞一直都找得到，只是成本太高；Mythos 把成本壓低。網傳黑市行情 500 到 1000 萬美金、這次只花約三萬五千美金，哈利說是傳聞，但規模大概對。
- 全民瘋科技股身邊原本不炒股的人都下場，有人借錢買台股 AI 供應鏈。哈利說三月底他在谷底買了美光，現在漲了一倍多、七八百。
- 過熱了嗎他認為長期不是泡沫，AI 基礎建設漲一兩倍甚至兩三倍仍合理；短期遇到重大瓶頸，出現大修正也有可能。五月初錄的那集他才說不會有太大規模的修正，錄完一兩天股價就漲上去，隨後兩週持續暴漲。
- 能源瓶頸的粗算他找一天晚上花一小時，用 GW 電力推算能蓋多少資料中心、要多少 HBM，再對照三家的 HBM 出貨量。數字湊不齊所以不公布，只確認離能源天花板不遠。
- 太空資料中心與 TERRAFAB若太空資料中心可行，能源變便宜，半導體又會變成瓶頸；哈利認為馬斯克做 TERRAFAB 就是已經料到這一步。
- 自己的持股態度除非能做出數字站得住的分析，證明有修正空間，否則他一股不賣，抱五年。他相信五年後半導體會重新成為瓶頸。
- 還有八成人沒用 AI他引用二月的統計：約 80% 的世界人口還沒用 AI，付費不到 1%，用前端 Agent 工具的不到 0.1%。他以 McKinsey 低估行動電話為例，說留言看衰的網友低估了 AI。
- Project SunCatcher補充上一集忘記講的：Google 的太空資料中心計畫，把 TPU 放上衛星做 prototype，預計 2027 年初開始部署。
- Interaction Model 的 demo模型尚未釋出，但 demo 在 X 上爆紅：講到帶七八十歲父母玩極限運動時被當場打斷、背景出現人就說 Friends、駝背會被提醒。這些現有語音模式都做不到。
- 為什麼要做互動模型Thinking Machines 認為有來有往的協作才是人與 AI 最合適的方式；全靠輪流來往的模型，就像吵架只能用 email。
- 鷹架很笨現有互動靠外部流程撐起，例如 ChatGPT 語音模式用 VAD 判斷你講完沒，常在他停下來思考時搶答，所以他會一直講「那個、呃」。
- The Bitter LessonRich Sutton 的觀念：人類設計的聰明規則短期有效，長期贏的是吃更多資料與算力、自己學會方法的模型；哈利說互動模型正是它的完美體現。
- 模型規格Thinking Machines 沒講太多架構細節，哈利相信仍是 Decoder Only 的 Transformer；MoE 架構，總共 276B 參數、每次推論用其中 12B。
- 200 毫秒微小塊輸入與輸出都切成 200 毫秒的小塊同時進行；文字、語音、影像用 Early Fusion 直接進主模型。哈利說架構沒有革命性突破。
- 推論端的優化互動模型是高頻率、小批量的連續串流，延遲要求高。現有框架把每塊都當新 request，哈利假設每次固定成本 20 毫秒，對 200 毫秒的小塊就跑不動；所以他們改成整段 Session，並自己優化 Kernel，PyTorch 的發明者 Soumith Chintala 也加入了他們。
- 前台加背景的雙模型完整系統是 Interaction Model 加 Background Model：前者即時對話並分派任務，後者像 Claude Code 這類 Agent 去查資料；demo 裡問電影評分就是這樣。
- 哈利為何看好他認為在體驗上是 strictly better，像當年的 Reasoning Model；它與 Agent 路線互相垂直、可疊加，是 Agent 的前端介面。
- 只能跑在雲端200 多 B 的模型手機與筆電跑不動，只能是雲端模型；Thinking Machines 說這是較小的版本，年底還會推更大的。
- Batch Size 與成本用高鐵比喻說明：Batch 越大越能攤平固定成本，但等越久；互動模型要低延遲，只能小批次，單位成本很高。
- KV Cache 常駐一般模型閒置時可以把 KV Cache 搬到 CPU DRAM 或清掉；互動模型要一直收 context，只能常駐在 HBM，Session 越久佔越多。
- 成本疊在一起Batch 小、記憶體佔用高、Token 變多三者疊加；他以 Opus 的 Fast Mode 為參照：Token 快 2.5 倍、成本提升 6 倍，而互動模型的成本會超過 6 倍。這是他自己的推論，不是 Thinking Machines 說的。
- 短期不主流、長期可期價值主要在介面，經濟價值仍來自背景的 Agent 模型，所以短期不會成為主流。若模型能蒸餾到小到跑在手機上、又解決 Context 管理，就可能成為主要典範。
值得記的話
▶ 14:58「但我覺得這市場認錯也未免認錯的太快了」
▶ 39:59「任何人類定義的 Scaffolding 一定都是很笨的」
▶ 1:04:14「整個 Token 經濟學真的是會變垃圾超爛貴到一個不行」
▶ 1:06:28「Batch Size 小，你就必須要付額外的成本這個是你繞不開的東西」
▶ 1:07:01「主要的這些經濟價值、商業價值還是要來自背景的 Agentic Model」
名詞與人物
- Interaction Model
- Thinking Machines 的新模型，同時持續接收與輸出，可以邊聽邊看邊插話；尚未釋出，只有 demo。
- Thinking Machines
- OpenAI 前 CTO Mira Murati 創辦的 AI 新創；哈利說他們先前偏重 fine tuning，現在推出自己的模型。
- Mythos
- Anthropic 的強大模型，因資安能力太強只小規模開放給企業與研究團體。
- Calif
- 用 Mythos 找到 macOS 漏洞的資安團隊，通報蘋果後才會公開 55 頁技術報告。
- MIE
- Memory Integrity Enforcement，蘋果的硬體層級記憶體安全機制，防止攻擊者利用記憶體錯誤取得更高權限。
- Scaffolding（鷹架）
- 用事先設計的外部流程做出功能的方式；哈利認為它沒有智能，終究會輸給原生具備能力的模型。
- VAD
- Voice Activity Detection，靠音量變化等判斷你是否講完，ChatGPT 語音模式用它決定何時回答。
- time-aligned microturns
- 把輸入與輸出都切成 200 毫秒的小塊，同時串流處理的做法。
- Background Model
- 完整系統裡的背景模型，像 Claude Code 這類 Agent，負責用工具完成事情再交回給 Interaction Model。
- Batch Size
- 一次推論裡同時處理的 request 數量；越大單位成本越低，但延遲越高。
- KV Cache
- 模型理解前後文時產生的中間運算結果，暫存可省下重算；互動模型必須常駐在 HBM。
- Project SunCatcher
- Google 的太空資料中心計畫，把 TPU 放上衛星做 prototype。
延伸
- Thinking Machines 的創立背景與研究方向，哈利說在科技浪 EP113 完整聊過。
- 他五月初錄過一集談科技股可能修正的原因，其中提到能源是一個議題，這集的粗算接續那個想法。