F5-TTS 粵語：五分鐘上手（2026）

一句答你：F5-TTS 係一套開源嘅流式匹配 TTS 模型，自己部署可以免費做參考音頻克隆；但粵語要做得出色，關鍵唔係模型本身，而係你點樣準備參考音頻、點樣正規化文本，同埋點樣處理粵語獨有嘅多音字同口語字問題。

重點摘要 Key Takeaways

• F5-TTS 係開源模型，本地部署零 API 費用，但你要自己搞掂環境、算力同維護。
• 參考音頻質素決定七成輸出效果：安靜環境、單一說話人、10 至 30 秒已經夠用。
• 粵語最大難點係多音字同口語字（嘅、咗、喺、嚟），文本正規化做唔足，讀音就錯。
• 開源同雲端 API 各有取捨：前者成本低但技術門檻高，後者省事但要付費。
• 聲音克隆涉及法律同倫理風險，香港官方指引要求透明標示同取得同意。
• 新手最常犯五個錯誤，幾乎全部可以喺投入大量時間之前避免。

F5-TTS 係乜嘢？

F5-TTS 係一套基於流式匹配（Flow Matching）架構嘅開源文字轉語音模型。佢嘅核心賣點係「零樣本語音克隆」：你只需要畀佢一段參考音頻，加上一段參考文本，佢就可以模仿嗰把聲線，讀出你想生成嘅任何文字。

零樣本克隆 係指唔需要經過長時間訓練或微調，只靠一個短樣本就生成新語音嘅技術。呢個概念喺學術界已經有大量研究，例如 Voice Cloning 綜合綜述就系統性整理咗呢類方法嘅原理同風險（Voice Cloning 綜合綜述, 2026）。

開源 TTS 近年愈嚟愈多，唔止 F5-TTS 一套。CosyVoice、IndextTS 等項目都可以配搭節點式工具使用，我哋之前介紹過 ComfyUI 配搭粵語 TTS 嘅工作流，有興趣玩本地工作流嘅讀者可以參考。

不過要留意一點：開源模型嘅官方訓練數據以普通話同英文為主，粵語屬於「可以用，但係要自己執生」嘅範疇。全球有約 8,490 萬粵語母語者，但高質素標註嘅粵語語音資源長期不足（WenetSpeech-Yue 論文, 2026），所以任何開源模型喺粵語場景都會遇到相同嘅基礎限制。

五分鐘上手流程

以下係通用層面嘅上手步驟，假設你已經有基本嘅 Python 環境。

第一步：準備參考音頻

呢一步係整個流程入面，投入產出比最高嘅一步。

• 選一段 10 至 30 秒嘅音頻，單一說話人、無背景音樂、無多人對話。
• 環境要安靜，避免冷氣聲、風扇聲、街道噪音。
• 說話速度自然，唔好刻意慢讀或者有太強嘅表演腔。
• 音頻格式用 wav 或者 mp3 都得，但取樣率唔好太低。

為乜嘢要參考文本？ F5-TTS 需要你提供參考音頻對應嘅逐字文本。呢段文本必須同音頻完全一致，錯一個字都可能令對齊出問題，生成出嚟嘅音頻就會有怪音或者漏字。

第二步：文本正規化

文本正規化 係指將輸入文字統一成模型易於處理嘅格式，包括數字轉漢字、標點清理、多音字標註等。呢一步做得好唔好，直接決定輸出聽唔聽得順。

舉個簡單對照：

第三步：生成同試聽

提交參考音頻、參考文本、目標文本，等模型生成，然後一定要用人耳試聽。唔好靠住「生成成功」就當搞定，多音字讀錯、語調唔自然呢啲問題，只有人耳先聽得出。

第四步：迭代修正

試聽發現問題之後，通常有三個修正方向：

1. 換參考音頻：如果成個音色或者腔調唔啱，係參考音頻嘅問題。
2. 改文本：如果某幾個字讀錯，係文本處理嘅問題。
3. 加標點：如果語調平板或者斷句奇怪，用標點控制停頓，可以參考我哋嘅 標點停頓控制指南。

粵語場景嘅三個核心難點

多音字同破音

多音字 係指同一個字形對應多個讀音嘅字，要靠上下文先判斷到啱邊個音。粵語多音字問題特別突出，「調」（tiu4／dau6）、「重」（cung4／zung6）、「會」（wui5／wui6）呢類字，模型揀錯音就會好刺耳。

例如「重複」同「重要」入面嘅「重」，讀音完全唔同。開源模型如果訓練數據入面粵語佔比低，呢類字出錯率會明顯較高。

口語字同書面語差異

粵語有一套自己嘅口語字系統：嘅、哋、咗、喺、嚟、唔、咩、喇、囉。如果你輸入嘅係標準書面中文（例如「他們已經完成了」），模型可能會用普通話腔去讀；如果你想輸出地道粵語，輸入文本本身就要係粵語口語（「佢哋已經搞掂咗」）。

呢個「書面定口語」嘅選擇題，我哋喺 書面語同口語粵語 TTS 對照 有詳細分析，建議新手先睇清楚自己要做邊種。

中英夾雜

香港日常講嘢充滿 code-switching：「check 吓」「send 個 file 畀我」「deadline 前搞掂」。開源模型處理中英夾雜嘅表現參差，英文詞有時會被讀成奇怪嘅粵語化發音。解決方法係將英文詞明確寫出嚟，或者用詞典級嘅讀音標註處理，我哋嘅 粵語中英夾雜 TTS 指南 有更深入嘅拆解。

開源定雲端 API 點揀？

做粵語語音，你其實有兩條路：自己部署開源模型，或者用雲端 API。簡單對照如下：

如果你目標係商業用途，例如為影片配旁白或者做有聲內容，建議先睇我哋嘅 AI 旁白配音完全指南 同 粵語 TTS 總覽，了解生產級嘅工作流應該點行。想比較唔同方案，可以睇 2026 粵語 TTS 工具比較。如果目的係模仿特定聲線，我哋嘅 TTS 聲音克隆指南 講清楚 clone 嘅流程同限制。

【獨家觀察】根據我哋團隊嘅日常觀察（2026-10-31），唔少新手喺開源 TTS 上花嘅時間，大部分唔係喺「生成」本身，而係喺「參考音頻同文本嘅準備」。同一個模型，兩個用家分別用隨手錄嘅音頻同精心準備嘅音頻，輸出質素可以差好遠。換句話講，開源 TTS 嘅「免費」其實係將成本由錢轉移咗去你嘅時間同技術判斷上。如果你做緊批量內容生產，呢筆隱藏成本要計清楚。

五個常見錯誤

錯誤一：參考音頻太嘈

背景有音樂或者多人聲，模型會將雜音一併學入去，生成嘅音頻成個都「污糟」。解決方法係重新錄，或者用去噪工具預處理。

錯誤二：參考文本同音頻唔對齊

漏字、錯字、多字都會令模型對齊失敗，出現重複音或者漏讀。生成之前逐字核對一次，值得。

錯誤三：數字同日期冇正規化

「100,000」直接餵入去，讀法可能完全唔係你想要嗰個。一律手動轉做漢字，或者用正規化腳本處理，我哋嘅 粵語轉寫數字正規化 方法同樣適用於 TTS 輸入端。

錯誤四：用書面中文要求地道粵語輸出

模型唔識自動將「你們」讀做「你哋」。輸入係乜就讀乜，所以輸入文本本身就要係你想要嘅語言風格。

錯誤五：忽略聲音克隆嘅法律同倫理要求

用開源工具克隆別人嘅聲音，唔代表冇規限。香港數字政策辦公室嘅生成式 AI 指引強調透明、問責同資料保障（香港數字政策辦公室 AI 指引, 2026），私隱專員公署亦有 AI 個人資料保障嘅模範框架（私隱專員公署 AI 框架, 2026）。複製他人聲音必須取得明確同意，生成內容應該清楚標示。學術界亦已提出偵測聲音克隆嘅水印技術（Timbre Watermarking 論文, 2026），可見防濫用已經係行業共識。

常見問題 FAQ

F5-TTS 免費係咪即係零成本？

唔係。模型本身開源唔使錢，但你嘅時間、算力、除錯時間都係成本。如果每個月只做幾分鐘音頻，自部署可能划算；如果係批量商業生產，用針對粵語優化嘅 API 可能更快更穩。

F5-TTS 可以直接做粵語嗎？

可以輸入粵語文本同粵語參考音頻去生成，但因為訓練數據粵語佔比有限，多音字同口語字嘅出錯機會較高。你要自己做好文本正規化同人耳覆核，唔好預設「開箱即用地道粵語」。

參考音頻要幾長？

10 至 30 秒已經足夠做零樣本克隆嘅入門嘗試。重點唔係長度，係質素：安靜、單一說話人、自然語速。更長嘅樣本唔一定更好，反而可能引入更多變數。

生成出嚟把聲唔似參考音頻點算？

先檢查參考音頻質素，再檢查參考文本對齊，最後先考慮換模型或者換工具。九成情況係頭兩樣出問題，唔係模型嘅錯。

商業項目用開源模型有咩要留意？

睇清楚模型嘅授權條款係咪允許商業使用；生成內容要有 AI 標示；如果涉及聲音克隆，要有聲源嘅書面同意。相關合規要求可以參考香港官方指引。

我想要穩定一致嘅粵語聲線，應該點做？

用 slug 固定嘅商業聲線會穩定好多。開源模型每改一次參考音頻，輸出就可能浮動，做系列內容會好頭痛。想了解唔同聲線嘅選擇邏輯，可以參考 TTS 聲線選擇嘅相關指南。

開源同付費方案可以並用嗎？

可以。常見做法係用開源工具做實驗同原型，確認腳本同流程之後，轉用生產級 API 做批量輸出。咁樣兩邊嘅長處都用得到。

結語：揀啱工具，先至慳到時間

F5-TTS 係一套值得認識嘅開源模型，佢令語音克隆技術變得人人可玩。但玩得掂同做得出商業級粵語內容，係兩回事。粵語嘅多音字、口語字、中英夾雜，每一樣都需要專門處理。如果你嘅目標係穩定輸出地道香港廣東話，直接用針對粵語優化嘅方案，通常係最短嘅路。

[!CTA]

試吓港嘢嘅粵語語音 Playground

即時輸入粵語文本，免費試聽針對香港廣東話優化嘅聲線，唔使搞環境、唔使揀參考音頻。去 港嘢 playground。

關於港嘢：我哋專做香港廣東話語音。有查詢可以聯絡我們，或者睇關於港嘢。

本文由港嘢內容團隊撰寫，經編輯覆核（2026-10-31）。