讓吉他開口說話的 plug-in

119Todd Fisher（Philo Ventures）18:352026-08-18 上架

While my guitar gently speaks — Todd Fisher, Philo Ventures

Todd Fisher 從萬聖節的吉他燈光小玩具出發，做出讓 AI 語音跟著吉他音符出聲的 plug-in，一路試過切字、音高偵測、語音對話到合成唱歌，最後鼓勵大家動手做自己的興趣專案。

這場講了什麼

• 從萬聖節小玩具長出來的專案：Todd Fisher 十多年來每年萬聖節都在門口彈吉他發糖果，大約三年前扮成 Eddie Munson 之後想多加點花樣，做了一套隨音符亮起的燈光。再下一步的念頭就是「讓吉他開口說話」。
• 第一版：彈一個音播一段語音：在 Logic Pro 裡掛上自己做的 plug-in，輸入的文字經 text-to-speech 變成音檔，每彈一個音就播一次。接著改成逐字切片，彈一個音出一個字。
• 自動切字不容易：energy gap segmentation 靠字與字之間的靜音來切，但說話時有些字之間根本沒有靜音；再加上 Sonority Peak Syllabifier 找音節，堪用但不如預期，最後的做法是讓人手動拖曳調整片段。
• 音高偵測加 vocoder，讓聲音跟著吉他：偵測吉他彈出的音高，產生合成音符，再跟 AI 語音一起送進 vocoder。現場 demo 出了好幾次狀況，Todd 當場重來。
• 接上語音辨識與本機模型做對話：對麥克風說話，經 Whisper 轉成文字，交給電腦上跑的本機模型回答，再由吉他把回答「說」出來。現場聽眾問的是「What is reality?」。
• 想讓吉他真的唱歌：改用 Vocal Set 的歌手錄音，事先把音高調到吉他的每個音，再對應到每一格琴格。處理太耗時，沒辦法即時做，所以先只做了五個母音。

影片從哪一段開始看11 段

1. 00:12開場與現場演出的震撼用 Slipknot 演唱會和百老匯 Stranger Things 的經歷說明現場演出為什麼讓人難忘；過去六個月有 AI 幫忙，手上那份專案清單終於推得動，這場想讓聽眾帶著動力回去做自己的東西。
2. 02:40吉他的音色演進從搖滾把吉他變大聲、效果踏板、Peter Frampton 的 talk box，到 Pro Tools、Logic 這類軟體模擬，接下來是 AI。
3. 04:00萬聖節與吉他燈光十多年來在萬聖節門口彈吉他發糖果，扮成 Eddie Munson 之後做了一套彈一個音就亮的燈光，還能拼出 Happy Halloween 這類自訂訊息，向 Stranger Things 致敬。
4. 05:42讓吉他說話與工具下一步的念頭是讓吉他說話。工具上用 JUCE 做音訊軟體與 DAW 的 plug-in，文字轉語音用 Piper 與 Apple 內建的功能，再加上數位訊號處理。
5. 06:46第一版：整段語音觸發在 Logic Pro 裡掛上自己的 plug-in，輸入文字、產生音檔，每彈一個音就播一次，現場用「Developers」示範，還帶全場一起拍手。
6. 07:34逐字切片與自動切字改成逐字切開、一音一字；自動切字先用 energy gap 找靜音，行不通，再加上音節偵測，仍然不夠準，最後改成手動拖曳調整。
7. 09:41音高偵測與 vocoder偵測吉他音的基頻、做出合成音符，再跟語音一起送進 vocoder，概念就像 talk box，目標是讓它「唱」出來。
8. 11:31現場彈奏與 demo 出狀況因為影片會上網、怕版權問題，沒彈原本想彈的那首歌，改彈一段和弦當伴奏再疊上 AI 語音；中間出了好幾次狀況，最後跑完，並說明用 clarity 旋鈕調合成音與語音的比例。
9. 13:59跟吉他對話麥克風收音經 Whisper 轉文字、交給本機模型回答，再由吉他說出來；現場請聽眾發問，效果斷斷續續但跑得動。
10. 15:25讓吉他唱歌用 Vocal Set 的歌手錄音，以 World 專案移調，事先處理好再對應到吉他，先做出五個母音，疊上和弦後還稱不上歌劇歌手，但越來越像在唱。
11. 17:36下一步與動手做的呼籲接下來想往更偏 AI 的方向走，歡迎聽眾分享讓吉他唱歌的點子；結尾再次鼓勵大家去做自己的興趣專案。

值得記的話4 句

• So part of my goal today is to inspire you guys to find whatever project you're passionate about, go start building it because it's super easy now with AI.我今天的目標之一，是鼓勵大家找出自己熱愛的專案，動手去做，因為現在有 AI，真的很容易02:22

• your DAW is effectively your IDE, but for musicians and music producers.DAW 基本上就是音樂人與音樂製作人的 IDE06:15

• there's actually no silence in between some of my words.我的有些字之間其實根本沒有靜音08:25

• Go and build awesome things because nowadays with AI, we could build so many really cool things.去做很棒的東西吧，現在有 AI，我們可以做出很多很酷的東西17:52

名詞與人物10 個

JUCE

Todd Fisher 推薦給做音訊軟體的人的框架

DAW

數位音訊工作站，Todd Fisher 形容是音樂人的 IDE，這場用的是 Logic Pro

Piper

這場用來做文字轉語音的工具之一

talk box

Peter Frampton 的做法：把吉他聲音經一條管子送進嘴裡，用口型做出字

energy gap segmentation

靠字與字之間的靜音來切字，缺點是有些字之間沒有靜音

Sonority Peak Syllabifier

找出語音裡的母音來辨識音節，用來補 energy gap 的不足

vocoder

把合成音符與語音疊在一起，讓聲音跟著吉他的音高出聲

Whisper

這場用來把麥克風收到的話轉成文字的語音辨識

Vocal Set

錄了一批歌手歌聲的素材，Todd Fisher 拿來當唱歌的樣本

World

能做 pitch shifting 的專案，用來把歌手樣本移調到吉他的音

提到但沒有展開

• 開場談軟體模擬時，Todd Fisher 提到一種熱門說法：效果都能用軟體做了，也許不再需要實體效果踏板。
• 合成音符那一步借的是電子音樂的做法：ADSR 這組參數就是決定一個音聽起來怎樣的旋鈕。

開發工具模型

在 YouTube 看原片 ↗