粵語 TTS 實測方法：點樣公平比較廣東話語音合成模型

一句答你： 粵語 TTS 實測唔係淨係聽下似唔似，要用文本庫、盲測、MOS、字符命中率呢五個維度去量度，先至可以分得出邊個供應商真係過到關。

Key Takeaways

• 粵語 TTS 評估要涵蓋字符命中率、自然度、聲調語氣、中英夾雜、字幕同步五個維度，唔可以一個分數代表一切
• 文本庫要覆蓋多音字、語氣詞、書面口語、純口語、數字、英文夾雜、長短句混合
• MOS 同 CMOS 係主觀指標，CER／WER 係客觀指標，三者要配合用
• 自動化指標（WER、CER）對聲調錯誤、多音字錯誤同語氣詞錯誤都會 miss，需要人耳聽
• 盲測要控制樣本順序、聽測環境、評分員背景，先至公平
• 結論要分場景講，唔好一個總分就決定揀邊個供應商

點解粵語 TTS 要特別設計實測方法

普通話 TTS 嘅評估方法，直接搬過嚟用得唔得？唔完全得。粵語有六個聲調、九個聲母韻母、一堆多音字、一大堆語氣詞（嘅、咩、喇、嘛、咋、啦、囉、啫、吖），仲有大量中英夾雜同數字混排。普通話嘅測試文本搬過嚟，會完全 miss 咗粵語最難做嗰啲位。

如果你想認真比較兩個或者多個廣東話 TTS 服務，咁就要由零開始設計一套針對粵語特性嘅實測框架。呢個框架唔係用嚟比邊個贏，而係用嚟問清楚你自己嘅使用場景需要咩。 一個做新聞旁白嘅供應商，未必啱做社交媒體短片；一個擅長純粵語嘅供應商，未必識處理中英夾雜。想知詳細嘅粵語 TTS 基礎概念同應用範圍，可以睇下粵語 TTS 完全指南。

粵語 TTS 實測要量嘅五大維度

粵語 TTS 唔可以用單一指標就話邊個好。要分開至少五個維度嚟評估，每個維度用唔同方法量。

字符同音讀嘅命中率

第一個最基本嘅問題：個 TTS 識唔識讀嗰個字？最常見嘅失誤包括：將「行」讀成 hang6（行路）而應該讀成 hang4（行列），或者將「泊」讀成 baak6（停泊）而應該讀成 paa2（湖畔）。多音字係粵語 TTS 嘅大難題——同一個字喺唔同語境下讀音完全唔同，default 模型好難做啱。

量度方法係預備一份已知正讀嘅文本（建議 50–100 句），逐句聽，記低每個字讀啱定讀錯。計出字符命中率（讀啱嘅字數 ÷ 總字數 × 100%）。注意：係「字」唔係「詞」嘅命中率。 詞命中率會被斷字位、語速、氣口呢啲因素污染；字命中率先至直接反映 TTS 嘅字符 → 音讀轉換能力。多音字嘅處理策略可以參考廣東話多音字攻略。

自然度同流暢度

第二個維度係自然度。讀啱字唔等於讀得自然。自然度包含：斷字位、停頓長短、語速變化、氣息同連讀。例如同一段新聞稿，一個供應商可能會逐字讀晒，另一個會將幾個字連埋一齊。讀者感覺「似唔似個真主播」就係自然度。

量度自然度最直接係做主觀聽測，由真人評分。實測時要預備 10–20 段 30–60 秒嘅文本，涵蓋唔同風格（新聞、對話、講書、旁白）。評分員逐段評「1 完全機械」到「5 完全自然」。呢個維度最容易「似是而非」，要靠足夠樣本先穩。

聲調同語氣

第三個維度專門睇粵語特性：聲調同語氣詞。粵語六聲加埋高入低入，正常成熟嘅 TTS 都會處理到聲調；但語氣詞嘅處理就係兵家必爭之地。「嘅」「咩」「啦」「嘛」「咋」「囉」「啫」「吖」呢啲字，每個字嘅發音同埋喺句子入面嘅弱化／強化模式都唔同，讀錯一個成個句子就會怪晒。

語氣詞係判斷一個粵語 TTS 係咪真正「識粵語」嘅關鍵指標。 因為語氣詞冇實義，傳統 NLP 模型唔識重點處理，往往 default 處理或者索性忽略；只有專門為粵語 tune 過嘅 TTS 先會讀得自然。粵語語氣詞嘅 TTS 處理策略可以參考粵語語氣詞 TTS 嘅專題。

中英夾雜同語碼轉換

第四個維度係中英夾雜。香港人日常講嘢，大量中英夾雜：「個 file 擺去 server 啦」、「聽日要 OT」、「用 link 開個 app」。TTS 點樣處理「OT」、「app」、「sushi」呢啲英文縮寫同外來詞，係好實戰嘅測試。

專門嘅測試文本要包括：純英文詞（sushi、camera、emoji）、英文縮寫（OT、app、link、AI）、中英夾雜句子（一句入面粵語英文交替出現）。留意 TTS 對英文嘅處理會唔會變國語發音、會唔會將每個英文字拆開讀、會唔會忽略輕聲。

字幕同時間軸同步

第五個維度係字幕。如果 TTS 用嚟做有片內容，字幕同步係必須嘅。香港 YouTuber 同短片創作者對字幕時間軸好敏感，差 0.5 秒已經好礙眼。

量度方法係用 TTS 嘅 SRT 字幕輸出之後，計字幕開始時間同實際語音開始時間嘅差（中位數同 P95）。P95 比平均值有意義，因為平均值會俾到幾個大 delay 拉低，失真。

設計一份靠譜嘅測試文本

實測嘅靈魂係文本庫。文本庫設計得差，所有後續分析都係假嘅。

文本長度點定

短文本（< 50 字）太短，難以判斷自然度同斷字位；長文本（> 200 字）太長，聽測員會攞，集中力下降。每段攰30–80 字係實測工作嘅 sweet spot。 每個維度預備 8–12 段，加埋就係 50–60 段，做一輪完整盲測剛剛好。

邊啲場景要涵蓋

測試文本庫要覆蓋以下場景，每個場景都要有：

1. 純口語（對話、訪談、口語故事）
2. 書面語（新聞稿、文章、講辭）
3. 數字（電話號碼、價錢、日期、時間）
4. 中英夾雜（日常生活、英文縮寫、外來詞）
5. 多音字（地名、人名、常見多音字）
6. 語氣詞密集句子（每句 3 個以上語氣詞）
7. 長短句混合（< 10 字同 > 50 字夾雜）

場景覆蓋唔夠，結論就會有偏。 例如你只測新聞稿，咁結論就只適用於新聞稿。

點樣避免供應商偏食

有啲供應商可能喺新聞文本上特登 tune 過，佢哋 demo 入面全部都係呢類；唔代表佢識處理對話文本或者情緒強嘅句子。避免偏食嘅方法有三招：

第一，用你自己嘅文本，唔用佢哋 demo 入面嗰啲。第二，每個供應商用同一 tier 嘅聲線（唔好比 basic 同 pr俾mium 比）。第三，盲測，聽測員唔知邊段係邊個供應商嘅。

評分方法同指標

五個維度有咩具體指標？

MOS 主觀聽測

MOS 係 Mean Opinion Score，平均意見分。最傳統嘅做法係聽測員聽一段音，俾 1–5 分（1 非常差、2 差、3 一般、4 好、5 非常好）。MOS 好處係直接、易理解；壞處係主觀、費時、唔同批次聽測員分數會漂移。建議每段音至少有 10 個聽測員打分，先至有統計意義。

CMOS 對比聽測

CMOS 係 Comparison MOS，即係 AB 對比。聽測員聽兩段音（A 同 B），要分比佢 -3 到 +3 分俾-3 B 好非常多、+3 A 好非常多、0 差唔到）。CMOS 好過 MOS 嘅地方係唔需要「絕對標準」，只需要相對比較。**CMOS 適合用嚟比兩個供應商直接對決，**對粵語 TTS 比較更實用。想知點樣由系統性角度比較廣東話 TTS 供應商，可以參考廣東話 TTS 對比 2026。

字符錯誤率同自動化指標

客觀指標有幾個：CER（Character Error Rate，字符錯誤率）、WER（Word Error Rate，詞錯誤率）、SIM（Speaker Similarity，聲線相似度）。CER 同 WER 都要有 ground truth（標準文本）先計到，SIM 就要有參考音錄。

呢啲指標好處係快、客觀、可重複；壞處係完全 miss 粵語特性。CER 計到嘅係字面錯（讀錯字、漏字、加字），但同一字嘅意思粵語唔同讀音（多音字）就 miss；聲調錯誤更加係 CER 計唔到嘅。

自動化指標嘅限制

自動化指標做唔晒粵語特性。 CER 對多音字錯誤冇有效；威脅更大嘅係 WER 計出嚟可能好低，但實際聲調、語氣全部錯晒——呢種「睇落錯唔多但聽落好怪」嘅情況，係自動化指標最易 miss 嘅位。API 接入嘅具體做法同控制參數，可以參考API 生成地道粵語語音。

結論：自動化指標用嚟做初步篩選 OK，做最終結論就要配合人耳聽。

實測流程：從 setup 到結論

預備功夫

1. 訂立五個維度嘅權重——每個用戶唔同，新聞媒體可能重聲調同字符命中率，YouTuber 可能重自然度同語氣詞處理
2. 準備 50–80 條測試文本，每個維度 8–12 條
3. 揀 2–4 個供應商，每個供應商揀 1–2 條聲線（注意 tier 一致）
4. 用同一個 API call pattern（建議 async job，加 job_id 控制變量；每段音用同一個設定跑，避免一邊加 emotion 另一邊唔加）

盲測設計

盲測就係聽測員唔知邊個供應商出嘅音。音檔命名要打亂，例如 gen-001.wav、gen-002.wav，唔可以話「A 社嘅 demo」。聽測環境要同一——同一耳機、同一音量、同一環境噪音（最好喺同一個房同一時間做完）。每段音播放之間要有 2 秒靜音，避免前一段影響後一段嘅判斷。

數據整理同報告

收集完所有分數之後：

1. 每個維度計平均分同標準差
2. 攞掉 outlier（> 2 個標準差）
3. 用 paired t-test 或者 Wilcoxon signed-rank test 驗證差異係咪統計顯著
4. 寫報告，每個維度分開講，最後綜合結論

報告格式要分場景講，唔好一個總分決定邊個贏。 例如：「做新聞旁白：A 社字符命中率高 3%，推薦 A 社；做社交媒體短片：B 社自然度同語氣詞都好過 A 社，推薦 B 社。」呢種結論先用得着。

粵語 TTS 實測嘅常見盲點

實測工作有幾個常見盲點，一唔小心就會得出錯誤結論。

第一，樣本偏食。 如果你差供應商自己 demo 嘅文本去測，佢實做得好。要用你自己 / 中立嘅文本。

第二，聲線選擇唔公平。 每個供應商都有幾條聲線，有啲係基本聲線，有啲係進階聲線。要用同一 tier 嘅聲線比。

第三，聽測員背景單一。 如果聽測員全部都係同一背景（例如全部係編輯），結論就有偏。要搵唔同年齡、性別、行業嘅聽測員。

第四，忽略長文本穩定性。 好多 TTS 喺第一句做得好好，但去到第 50 句就開始爛（tone drift、語速變、氣息失調）。一定要測長文本（200 字以上），先見到真章。

第五，混淆「自然」同「似真人」。 自然嘅 TTS 唔等於似真人。似真人嘅 AI 配音同真人配音嘅差別，可以睇真人 vs AI 配音比較。

第六，忽略應用場景差異。 同一條聲線做新聞旁白可能好好，做社交媒體短片可能太慢太 formal。實測要對應你嘅實際場景。

常見問題 FAQ

點解唔可以靠「聽一兩句」就分出邊個粵語 TTS 最好？

因為每個供應商 demo 嘅文本都經過 tune，係佢哋擅長嘅場景。一兩句最多只能反映供應商喺「示範場景」嘅表現，唔能反映喺你嘅真實場景嘅表現。要做系統性盲測，每個場景 8–12 段、至少 10 個聽測員打分，先至有統計意義。

測試文本應該包含邊啲類型嘅內容？

至少七類：純口語（對話訪談）、書面語（新聞文章）、數字（電話價錢日期）、中英夾雜（日常英文縮寫同詞彙）、多音字（地名人名常見多音字）、語氣詞密集句子、長短句混合（< 10 字同 > 50 字夾雜）。每類 8–12 段，每段 30–80 字。

MOS 同 CMOS 揀邊個？

睇你目的。如果你想知一個供應商喺「絕對」標準下做幾好，用 MOS；如果你想直接比兩個供應商，用 CMOS。**CMOS 對粵語 TTS 比較更實用，**因為唔需要假設聽測員對「自然度」有共同絕對標準。

自動化指標（WER、CER）對粵語有冇用？

有用，但有限。CER 可以快速篩選字符讀錯嘅明顯錯誤，但 miss 聲調錯誤同多音字嘅錯誤（同一字唔同讀音）。WER 更加唔適合粵語，因為粵語詞界唔清，斷字位本身就係難題。自動化指標用嚟做初步篩選，最終結論一定要配合人耳聽。

幾多個聽測員先夠做一輪盲測？

MOS 至少 10 人，CMOS 至少 15 人。少過 10 人，統計顯著性唔穩，分數容易被個別聽測員拉高拉低。聽測員背景要多元化（唔同年齡、性別、行業），唔可以全部都係編輯或者全部都係工程師，否則會系統性偏。

點樣避免偏食某一個供應商？

三招。第一，用你自己嘅文本，唔用佢哋 demo。第二，每個供應商用同一 tier 嘅聲線（唔好比基本聲線同進階聲線）。第三，盲測，聽測員唔知邊段係邊個供應商嘅音，音檔命名要打亂。

實測結果點樣應用喺揀方案上？

分場景應用。新聞旁白用聲調同字符命中率比較高嘅供應商；社交媒體短片用自然度同語氣詞處理比較好嘅供應商；做有片內容要加字幕同步測試。唔好一個總分決定一切，要按你嘅場景加權。 將實測結論整理成「場景 → 推薦供應商」對照表，先至真正用得着。

[!CTA]

想即刻試下你嘅測試文本？

去 Playground 揀條聲線，貼你自己嘅文本，5 分鐘內聽到結果，拎第一手數據落實測框架。