用合成鑽石替 GPU 降溫 · No Priors 筆記

093 · 用合成鑽石替 GPU 降溫

42:21YouTube 上架 2024-12-12Felix Ejeckam & Ty Mitchell（Akash Systems）

No Priors Ep. 93 | With Akash Systems' Felix Ejeckam and Ty Mitchell

Akash Systems 的 Felix Ejeckam 與 Ty Mitchell 談怎麼用實驗室長出來的鑽石替晶片散熱，從衛星無線電一路做到 AI 伺服器，也聊美國製造與 AI 怎麼加快材料研究。

093 講了什麼

從材料層開始做Felix Ejeckam 與 Ty Mitchell 在 2017 年創辦 Akash Systems，用實驗室長出來的鑽石搭配 silicon 或 gallium nitride 等半導體。Ty 說材料創新的人必須自己做出系統，才說服得了客戶。
先做太空，再做 AI兩人先在太空做衛星無線電，那邊沒有空氣流動、不能靠流體散熱。Felix 提到太空裡要冷卻的功率密度在 10 的 3 次方等級，也就是 4,000 到 5,000 watts per square centimeter；AI 伺服器裡的晶片少一個數量級，是兩三百 watts per square centimeter。
鑽石疊在現有散熱上Ty 說鑽石可以單獨用，也可以和風扇、液冷、封裝手法並用。Felix 接著舉例，Akash 出貨的 NVIDIA H20 伺服器就是液冷加鑽石冷卻。
熱是各種瓶頸的共通來源Sarah 列出晶片供應、GPU 可靠性、電力這些痛點，其中一位創辦人回答這些全都是熱的問題，過熱時系統會 thermal throttling。伺服器裡一層疊一層的材料，每個介面都是熱障，得從材料層處理。
早期客戶是印度的主權雲NextGen 是印度最大的主權雲服務商，剛宣布成為 Akash 的客戶。這批貨要在下一季出完，Akash 把它當成證明小公司也能快速擴產的案例。
對製造與 AI 的看法Ty 認為美國做得不夠，要投資整條供應鏈的製造，Felix 接著談 CHIPS Act 與國防。談到 AI 與材料研究，Ty 說真正的限制是提出好問題的能力，Felix 也同意。

從哪一段開始看19 段

00:03公司簡介Sarah 介紹 Akash Systems 用高導熱鑽石幫電腦降溫。Felix 說公司從材料科學起步，先做衛星無線電，現在做 AI 運算。
02:26Felix 的背景Felix 在 Cornell 讀電機博士，研究把差異很大的材料結合起來。2017 年與 Ty 創辦 Akash，把鑽石與 silicon 或 gallium nitride 結合。
04:39Ty 的背景與做系統的理由Ty 的博士研究是 silicon carbide，曾在 Wolfspeed 工作。Ty 說材料創新者要做出系統，才說服得了客戶。
06:14從太空走向 AITy 說太空沒有氣流、面積有限，可靠性要求也更高，比 AI 的散熱問題更難。Felix 用兩邊的功率密度做對照。
08:08冰塊示範與降溫幅度其中一位創辦人拿鑽石晶圓切冰塊，讓手指的熱穿過鑽石把冰融掉。GPU 一開始先降 10 度，接下來 12 個月看 20、30、40 度；太空應用已經降了 80 到 90 度。
09:46現有散熱手法Sarah 問散熱為什麼是 AI 的問題。Ty 列出資料中心、機櫃、晶片與封裝層級的各種做法，說鑽石可以單用，也可以搭配。
11:54發熱成為產業議題Ty 提到 NVIDIA 這一年推新晶片都碰上發熱問題，先是 Samsung 的 HBM，再來是 Blackwell 延後；上一次財報電話會議也有人問到。
12:57風扇與液冷的疑慮Sarah 說風扇與液冷有可靠性問題。Felix 說出貨的 NVIDIA H20 伺服器同時用液冷與鑽石，並認為不從材料層處理，AI 資料中心的需求會壓垮電網。
15:20熱是各種瓶頸的源頭其中一位創辦人說晶片供應、可靠性、電力全都是熱的問題，不從源頭處理就像打地鼠；過熱會造成 thermal throttling，伺服器也可能一上線就故障。
18:16層層疊疊的熱障其中一位創辦人逐層列出伺服器內的機殼、散熱片、接合材料、晶片與電路板，說每一個介面都是熱障。
20:32在夥伴生態中的位置Akash 買晶片、不自己做 GPU，以伺服器廠商的身分切入。其中一位創辦人說有機會加快 Moore's law，把原本六七年的進展縮到兩年。
22:50鑽石怎麼長其中一位創辦人說明：從種晶用 chemical vapor deposition 長出單晶，過程和長 silicon 類似。另一位補充，公司的關鍵在於讓鑽石與半導體在原子層級緊密結合。
25:01NextGen 與主權雲NextGen 是印度最大的主權雲服務商。其中一位創辦人說這是好的早期客戶：各國都要求資料留在境內、NextGen 是當地龍頭，這筆單也能證明小公司擴產跟得上。
28:12美國製造與 CHIPS ActSarah 問美國製造能力。Ty 認為美國做得不夠，Felix 說 Akash 取得 CHIPS Act 補助、供貨給國防業者 Raytheon，並在加州與德州建立產能。
31:21無線電與國防Sarah 問衛星與無線電為什麼和國安有關。其中一位創辦人以二戰雷達為例，說新技術的影響往往超出預期。
32:39供應鏈搬回美國其中一位創辦人說美國有能力做，問題在於企業文化被財報驅動；並認為從晶片到機櫃外殼都該在美國做。
34:48AI 與製造業Felix 認為 AI 會讓製造產能放大 10 倍甚至 100 倍，不必靠壓低人力成本與中國競爭。
36:25AI 用於材料研究Sarah 問 AI 對材料科學的幫助。其中一位創辦人說 AI 能幫忙回頭找出舊文獻，加快反覆試驗。
40:08想像力才是限制Felix 說 Ty 說中了，最大的挑戰是想像力；並舉熱限制消失後能做的事，例如更快的運算、針對各種癌症的藥物，以及一次充電從舊金山開到紐約的電池。

值得記的話5 句

the farther you go in the system the better chance you have of convincing the customer that you have the solutionTy：越往系統端做，就越有機會讓客戶相信你真的有解方05:58
the needs of AI data centers around the world based on projections today will crash the grid as we know itFelix：照目前的預估，全世界 AI 資料中心的需求會把我們所知的電網壓垮14:16
if you bring an ice pack and put your laptop on top of that ice pack nothing will changeFelix：你拿個冰袋來、把筆電放在上面，什麼都不會改變14:48
every time you have an interface between those sandwiches that's a thermal barrier這些夾層之間的每一個介面，都是一道熱障19:01
we're limited by our ability to frame the questionsTy：限制我們的，是我們提出問題的能力39:05

名詞與人物10 個

Akash Systems: Felix 與 Ty 2017 年創辦的公司，用實驗室長出來的鑽石幫晶片散熱，從衛星無線電做到 AI 伺服器。
Felix Ejeckam: Akash Systems 共同創辦人，Cornell 電機博士。
Ty Mitchell: Akash Systems 共同創辦人，博士研究是 silicon carbide，曾在 Wolfspeed 工作。
synthetic diamond: 在實驗室長出的人造鑽石，Felix 說它是公認導熱最好的材料。
thermal throttling: 晶片溫度升到 80 到 90 度 C 時，系統降低負載來降溫，GPU 因此變慢。
chemical vapor deposition: 從種晶出發長出單晶的製程，長鑽石時是在反應爐裡用電漿長，原理和長 silicon 類似。
silicon carbide: Ty 的博士研究主題，用在雷達、電動車電力電子與 LED 等。
NextGen: 印度最大的主權雲服務商，Akash 的早期客戶。
sovereign cloud: 資料必須留在本國境內的雲端服務，這集說世界各國都有這項要求。
CHIPS Act: Sarah 提到 Akash 是少數拿到補助的小公司；Felix 說這呼應法案強化供應鏈與國安的目標。

提到但沒有展開

談到加快 Moore's law 時，其中一位創辦人說，熱限制解開之後，一部 90 分鐘的長片可以在幾秒內生成；現在受熱限制，大概要好幾天。
主權資料的要求在太空也看得到：衛星把資料傳回地面時，有義務讓資料留在該國境內。

在 YouTube 看原片 ↗

Akash Systems