NPU 創業路與台灣 AI 硬體職缺
劉劉峻誠來賓 · 耐能智慧
YouTube 標題:EP175 | 台灣的高薪 AI 相關工作佈局? Feat. 耐能智慧 劉峻誠博士
耐能智慧創辦人劉峻誠談 NPU 跟 GPU 差在哪、在 AI 還很冷門時創業的經過,以及他的團隊在台灣找什麼人、薪水怎麼給。
重點
- NPU 是專為 AI 設計的晶片劉峻誠說 CPU 擅長邏輯運算,GPU 是為遊戲圖像而生,兩者都不是為 AI 做的。他用錄影帶、DVD 到 MP3 隨身碟當比喻,說一顆小小的 NPU 可以取代很多 GPU,讓 AI 直接跑在手機、家電和車子裡,不必都放在雲端。
- AI 冷門時就下場他說 2015 年做 AI 非常冷門,要到 2016 年 AlphaGo 出來才開始熱。學生時代他在 Bell Labs 遇過後來拿圖靈獎的 Yoshua Bengio,對方申請研究經費一直批不夠,卻說自己發自內心喜歡,這件事讓他感觸很深。2012 年 AlexNet 出來時他就覺得 AI 會起來,在高通提過手機專用晶片的提案,沒被採納。
- 台灣不只能做代工他認為台灣從小習慣給標準答案,框架很容易把自己限制在代工。他說 DeepSeek 用的蒸餾、量化、MoE 在學界都不是新東西,耐能比它早一年多就在一場講座上展示過做法很類似的離線小型模型,他自己檢討的是當時沒有開源。
- 薪水對標大公司耐能想找的人多半在大公司待過,所以盡量對標大公司的整包薪酬。員工可以選全部拿底薪,也可以拿大約七成底薪加三成股票;每半年 review 一次,表現差會減薪。
- 要有深度也要跨界給想進 AI 的人,劉峻誠的建議是別只會用開源工具,簡單的軟體工作容易被 AI 取代,懂底層的人才有差異化。做 AI 硬體時模型、算法、compiler 和底層晶片都要管,所以多會一點不要自我設限。
- 創業差點倒第一筆訂單來自騰訊,合作之後他被找去拍實境節目。那段期間一位說要幫忙管理的投資方高管把團隊挖走,公司只剩兩個人,還被追債。他靠節目上認識的格力電器董事長董明珠與搜狗創辦人王小川給的訂單,才把公司救回來。
時間軸
| 02:21 | 開場與來賓介紹抹布說這集想問台灣有沒有真的做 AI 的高薪工作,邀請耐能智慧創辦人劉峻誠;Iris 與琳恩自我介紹,琳恩在新加坡做半導體與光電。 |
| 05:54 | 劉峻誠的經歷在台灣讀完大學後拿獎學金赴加州,Berkeley、UCLA、UCSD 都待過,UCLA 電機博士;之後待過新創、三星、晨星半導體與高通,才出來創業。 |
| 08:11 | NPU 是什麼CPU 管邏輯運算、GPU 為圖像而生、NPU 專為 AI;他說 GPU 跑 AI 很耗電,並用錄影帶、DVD、MP3 的替代關係說明 NPU 取代 GPU。 |
| 12:15 | 坦克、卡車、小客車用三種車比喻三種晶片,說 GPU 廠商靠開發工具讓開發者黏在卡車上;缺 GPU、電費貴,加上 AIPC 出現,NPU 才變成大廠都在講的詞。 |
| 17:42 | 為什麼做冷門的 AI2015 年做 AI 很冷門。他講學生時代在 Bell Labs 遇到 Yoshua Bengio 的故事,結論是創作者最後追求的是發自內心的喜歡。 |
| 21:27 | 意外的創業他原本沒想創業;前老闆的老闆要創業、請他找人,他介紹的朋友辭職後落空,在他家客廳住了半年,最後談成一起出去創業。 |
| 23:36 | 選上 AI 的原因小時候愛看科幻、2012 年 AlexNet 讓他看好 AI;在高通提專用晶片沒被採納,他也覺得大公司層層上報、半年後才決策,跟不上新模型的節奏。 |
| 26:21 | 台灣該不該做 AI 硬體他用紅葉少棒、周杰倫和「魚要找大海」說明不要被標準答案框住,也提到耐能比 DeepSeek 早一年多展示過類似的離線小模型。 |
| 32:06 | 主持人談大公司框架一位主持人自嘲是待在大公司「出一張嘴」的魚缸派;琳恩講疫情期間在新加坡掃一個 app 就能登錄個人資料的經驗;另一位主持人說大公司多半照職責分工,但這些公司早期也有人突破框架。 |
| 36:31 | 民族性與公司文化劉峻誠說各國有各國的特色,Google 的文化硬套在台積電,台積電會倒,台積電那套套在鴻海也一樣;他給團隊的定義是不斷學習、成長、因地制宜,耐能的名字取自耐得住寂寞、扛得起責任。 |
| 42:23 | 在台灣怎麼找人給薪核心成員多半來自大公司,薪酬對標大公司:選全底薪或七成底薪加三成股票;10 年資歷約 400 到 500 萬,新人 150 到 200 之間,每半年 review,可升職等也可減薪。 |
| 48:16 | 台灣缺什麼人才美國那邊偏軟體與系統架構,台灣強在韌體與半導體這類底層;整體在找的跟大公司差不多,IC 設計、韌體、軟體,也有模型人才;他說柏克萊的 EE 和 CS 同系,軟硬體本來就不分。 |
| 52:06 | 給新人的建議簡單的工作容易被 AI 取代,要靠深度與跨界做出差異化;他提到對岸曾有上千家 NPU 公司,死掉一大批,做 AI 硬體模型、算法、compiler 到晶片都要碰。 |
| 55:36 | 聊天室問答:邊緣 AI第三類半導體的問題他說不熟;接著說小 NPU 能讓 AI 離開雲端,車用不能等傳輸延遲,各國做主權 AI 也是不想把機密傳出去。 |
| 1:00:02 | AI 職缺怎麼變有聽眾問 AI 相關職缺的變化與新人年紀;他提到在交大招收 22、23 歲的產學博士,並以工業革命類比,AI 取代一些工作也創造新工作。 |
| 1:02:32 | 第一筆訂單與破產危機騰訊全球找不到 5 家 AI 團隊才找上耐能;後來公司剩兩個人、被追債 500 萬美元,靠董明珠與王小川給的訂單救回來,債務談到 350 萬。 |
| 1:06:15 | 收尾與台灣的意義主持人總結台灣有做到 AI 硬體深層的公司;劉峻誠說很早回台灣設點是出於情懷,還寫了中文的 AI 教科書。 |
| 1:09:53 | 喊口號主持人請來賓一起喊節目固定的口號,並聊到心靈上的滿足比財富自由更難。 |
| 1:11:52 | 餘談:關稅風暴來賓離線後,主持人聊起這集是一個月前約訪,沒想到遇上關稅新聞,大家突然不談 AI,改談怎麼保護資產。 |
| 1:14:23 | 美國高薪與製造業回流一位主持人說美國吸引人才做高薪的 AI 工作,台灣以伺服器代工為主;對美國想把製造業拉回本土能理解,但用關稅逼人下單就讓人心酸。 |
| 1:15:49 | 國債與關稅的後座力主持人們推測關稅也跟國債到期風險有關,但殖利率上升、各國看穿意圖,效果有限;也談到要業者馬上遷廠,一般人很難像這樣說搬就搬。 |
值得記的話
「我覺得創作者最後真正會去追求一件事情是你真的發自內心去喜歡」20:52
「那如果你是魚你應該去找屬於你的大海然後去自由自在的游」30:43
「我們其實就是一群不斷學習不斷成長不斷因地制宜的一個團隊」39:01
「我覺得在這個快速變動的時刻跨界跟有深度我覺得應該是兩個要抓的根本」53:42
名詞與人物
- NPU
- 專為 AI 運算設計的晶片,劉峻誠說耐能從 2015 年做起,用來跟 CPU、GPU 區隔
- 耐能智慧
- 劉峻誠創辦的 AI 晶片公司,他說「耐」是耐得住寂寞、「能」是扛得起責任,自稱是駱駝文化
- CUDA
- 劉峻誠比喻成讓開發者習慣開卡車的開發工具,說開發者因此黏在 GPU 上
- AIPC
- 能在筆電本機跑生成式 AI 的電腦;他說 NPU 這個詞因它才變得出名
- 邊緣 AI(edge AI)
- 把 AI 放在手機、車子、無人機等裝置上本地執行,不靠雲端;劉峻誠說車用延遲一兩秒就可能出事
- 主權 AI
- 劉峻誠說各國想做的原因,是國防或企業機密不想都傳到海外的雲端服務
- AlexNet
- 2012 年出現的模型;劉峻誠說他那時就覺得 AI 要起來了
- 產學博士
- 邊在公司工作、邊拿博士學位的方式,劉峻誠說他在交大招過幾位
- 《我是創始人》
- 劉峻誠跟騰訊合作後被找去拍的實境節目,他在節目裡認識董明珠與王小川
延伸
- 主持人提到節目先前訪問過另一位在國外念 AI 的老師,說要吸引人才回台灣得開出很高的薪水,這集的給薪做法可以對照著聽。
- 劉峻誠寫過 AI 硬體設計的英文教科書,也寫過從幼稚園一路到中學的中文教材,他說是想讓家鄉在 AI 世代更有競爭力。