哈利隔了一年重新玩 Stable Diffusion,說它強大但門檻還高;後半轉述他在半導體展聽到的 AI 對談,談經濟價值、誰先受益、回報何時來。
重點
Stable Diffusion 強在能控制。哈利說開源繪圖模型能用圖片指定姿勢、臉與風格,也能掛 LoRA 這類補充包,參數全部可調,比封閉模型更貼近需求。但他自己要快速出圖時,還是會直接用 ChatGPT 裡的 DALL-E 3。
門檻仍高。他認為社群比一年前壯大,介面也比較好裝,但節點名稱是機器學習術語、報錯訊息是給開發者看的,網路上的教學又零散。他自己是靠機器學習背景加上改別人的 workflow 摸出來的。
Stability AI 開源卻賺不到錢。哈利說他們把模型全部免費開源,沒有正常的商業模式,他認為執行長是被投資人趕下台;離開的人創辦 Black Forest Lab,做出 Flux,三種大小混合開源與封閉,還和 xAI 合作。
半導體展的對談是供應鏈的視角。哈利說這場對談的來賓多半是半導體供應鏈上的公司,他們最在意的是資本支出花下去之後,回報什麼時候來。
經濟價值與誰先受益。對談裡大家一致認為 AI 的經濟價值極大。主持對談的吳田玉與台積電的米玉傑認為美國會先受益,Google 的來賓持不同看法;哈利自己也認為美國先,並說他的資金全部放在美國大盤。
回報要等。與會者的共識是要耐心等,不會在一兩年內出現,但會很大。Google 來賓拿 TPU 當例子,說它一開始沒人在意。
時間軸 點時碼從那一段開始
- 重玩 Stable Diffusion他因為工作又玩了一輪,上次是一年多前。先簡介它是文字轉圖片的模型,開發公司 Stability AI 把模型全部開源,社群因此很早就建立起來。
- 自己訓練 LoRA一年前他拿 Blackpink 的 Jennie 當測試,只用二十幾張照片訓練 LoRA,結果連神韻都學得出來,沒有發布模型或圖片。
- 為什麼不常用想快速出圖時他會用 ChatGPT 的 DALL-E 3;要客製化才用 Stable Diffusion,可用圖片指定姿勢、臉、風格,參數全部能調。
- 還不夠消費者友善設定多、模型要放對資料夾,有時還得用 command line。ComfyUI 與 Automatic 1111 的介面已經很直覺,但為了彈性仍偏複雜。
- 怎麼玩:硬體要在自己電腦上跑;記憶體要比模型大一點。他估計 98% 以上的人用 GPU,建議至少 8GB VRAM 的 NVIDIA GPU。
- 模型版本與社群模型從 1.5、2、XL 到最新的 3;civit.ai 上有大量社群調出來的風格模型,還有 LoRA、ControlNet 等外加小模型,動漫角色的 LoRA 一查就有。
- 權重檔與兩套介面下載的是權重包,要丟進軟體才跑得動。Automatic 1111 是按鈕式、偏新手;ComfyUI 是節點式、彈性大、偏進階。
- 術語與錯誤訊息社群變大、安裝簡單了些,但節點、超參數都是機器學習名詞,出錯時是 PyTorch 的報錯。
- 教學品質與他的做法他覺得 ComfyUI 的教學多半是外行玩出來的經驗法則,缺系統性。他自己匯入別人的 workflow,再把冗餘節點刪到最單純。
- 會走向普及用加密貨幣當類比:早期是一群 Hacker,出圈之後交易所一按就買得到。他認為 Stable Diffusion 也會往這個方向走。
- 經濟價值與版權現在像玩具,但他在 Google I/O 看到畫師用自己作品微調 Imagen 2,替愛麗絲夢遊仙境每兩句配一張插圖。版權疑慮他說要正視,未來會想辦法解決。
- 本地模型勝出的可能雲端模型也可能加更多控制選項,但他覺得本地模型勝出機率較高。目前更夯的是 Flux。
- Flux 與 Stability AIBlack Forest Lab 由 Stability AI 出走的人創立,Flux 三種大小混合開源與封閉,並與 xAI 合作;Stability AI 不賺錢,他認為執行長是被投資人趕下台。
- 半導體展與大師論壇他 9 月 4 日去台北南港的半導體展,下午整場是付費論壇,各公司演講的架構大同小異:機會、挑戰、自家方案。最後一小時的 AI Fireside Chat 由日月光執行長吳田玉主持,來賓是 Google Applied AI Engineering 部門副總裁、三星記憶體部門主管,以及台積電執行副總經理暨共同營運長米玉傑。
- 對談的視角:花錢之後 ROI除了 Google 是雲端業者,台上其他人都在半導體供應鏈上;哈利說他們最在意資本支出何時回本,並對比創投與科技巨頭的「不能錯過」心態。
- 題一:AI 經濟價值全體同意極大,數字提到 5 到 10 年有 20 到 30 兆美元;AI 是軟體、無國界,會比手機與網路擴散更快。
- 題二:誰先受益吳田玉與米玉傑認為美國先受益,Google 的來賓反對,認為各國能用自己的語言做 Post-training;哈利舉 Llama 的 5% 非英文資料反駁,並談到自己全押美國大盤。
- 題三:ROI 何時來沒有人給得出時間表,共識是要蹲一陣子。Google 來賓用 TPU 從副業專案走到第六代為例。
- 對談的其他話題還聊到邊緣運算、AI PC、機器人,哈利說這些他在節目講過很多次;Google 來賓估計五到十年內工廠會有機器人。
- 為什麼這集講繪圖模型蘋果發表會隔天才開,這集趕不上;OpenAI 與 Tesla 的新聞他覺得沒料,剛好玩了 Stable Diffusion,就拿來講。
值得記的話
▶ 06:26「你自己見證了這一整個過程你看到那個結果你就真的會覺得哇這是真的」
▶ 10:24「但他們真的還不是很消費者友善你如果要透過這些工具產生出圖片的話」
▶ 25:44「大家會在網路上分享的都是自己的得意之作」
▶ 42:02「寧可我今天投下去的這些專案有些打水漂了我也不要錯過」
▶ 57:32「我選題標準就是我覺得很重要的東西很酷的東西我就會想講它」
名詞與人物
- Stable Diffusion
- 文字轉圖片的開源模型,由 Stability AI 開發;哈利說玩開源繪圖模型的人幾乎都在用它。
- LoRA
- 低秩適配器,哈利比喻成「知識包」,加在底模上就能學會某個角色或風格。
- ComfyUI
- 節點式介面,自己把節點連成工作流,彈性大、偏進階。
- Automatic 1111
- 按鈕式介面,哈利說比較適合新手。
- civit.ai
- 社群上傳與下載模型的網站,風格與角色模型都有。
- Flux
- Black Forest Lab 推出的文字轉圖片模型,三種大小,最大的封閉、中間半開放、最小的開放。
- Black Forest Lab
- 由 Stability AI 出走的人創立的公司,做出 Flux。
- AI Fireside Chat
- 半導體展大師論壇最後一小時的對談,哈利說是今年新增的環節。
- 資本支出(CAPEX)
- 蓋廠、增產要先花的錢;哈利說這是供應鏈公司最在意回報的原因。
- Pre-training / Post-training
- 前者用大量資料建立基本能力,後者用較少資料調教特定能力;Google 來賓認為各國可在後者用自己的語言資料。
延伸
- 哈利說下一集可能補講蘋果發表會,這集錄製時發表會在隔天。
- OpenAI 傳聞中的 Strawberry 與 Orion 模型定價、Tesla 的 Actually Smart Summon,這集只提到名字,說明他這週不想展開。