粵語 ASR 準確度數字點解個個都唔同：四份公開 benchmark 拆開睇

你問三個平台「粵語準唔準」。第一個答 3.1%。第二個答 5.26%。第三個答 7.89%。

三個數字都係「字錯率」，但唔可以放埋一齊比較。因為測試集唔同、指標定義唔同、錄音領域唔同。

更麻煩嘅係，同一份公開評測裡面，同一個模型可以同時有 5.55% 同 20.85% 兩個數字。兩個都真。

本文拆四份公開資料，講清楚差距從何而來。之後給五個問題，你拿去問任何供應商都用得着。

重點摘要

• 粵語公開數字由 3.1% 到 20.85% 都有，差距主要來自「測試集」同「領域」，唔係模型好壞。
• 同一個模型喺日常句同中英夾雜句，字錯率可以相差近 4 倍（5.55% vs 20.85%）。
• 中英夾雜要用 混合錯誤率（MER）計：中文按字、英文按詞，唔同計法會得出唔同結論。
• 香港首個以真實客服錄音做測試集嘅公開 benchmark 已開始收件，參考基線 CER 介乎 8.6% 至 11.1%。
• 睇任何 WER 數字，先問五件事：測試集、語言、指標、樣本量、日期。

四份公開數字，放埋一齊睇

第一份：廠商互比（Speechmatics 粵語頁）

Speechmatics 喺自己嘅粵語產品頁列出一張 FLEURS 基準表（官方頁，2026-10-31 抓取）：

呢張表嘅價值係「同一測試集」。四家用同一個公開語料，所以橫向比較有意義。但發佈者係其中一位參賽者，所以叫 vendor benchmark，唔係獨立評測。

第二份：單一供應商自稱（ElevenLabs）

ElevenLabs 嘅粵語頁寫 Scribe 喺 FLEURS 3.1%、Common Voice 5.5%（粵語頁）。

有趣嘅係，同一家公司嘅語言文件把 Cantonese 歸入「High Accuracy（>5% 至 ≤10% WER）」band。

即係話：官方文件講「5 至 10%」，市場頁講「3.1%」。兩個都出自同一家。呢個唔一定係矛盾 — 可能係測試集唔同 — 但正好說明「一個數字」冇意義，要連埋測試集一齊講。

第三份：跨語言比較（AssemblyAI）

AssemblyAI 喺 2026-10-26 嘅文章講，Universal-3.6 Pro Realtime 喺 code-switching 語音上 WER 7.20%，同期比較 Nova-3 Multi 係 17.13%（官方文章）。

呢個係全篇最有用嘅一組數字之一。因為它講嘅唔係「粵語」，係「語言切換」— 而香港人講嘢，本質就係不停切換。

第四份：開源領域評測（AlienKevin/cantonese_asr_eval）

呢份係 GitHub 上嘅公開評測，用六個唔同領域比較開源模型（原始表）：

圖一睇到一個重點：Whisper 喺 Common Voice 混合句係 5.55%，去到粵英混合係 20.85%。同一個模型、同一種語言，差 3.8 倍。

原因唔難理解。Common Voice 係朗讀語料，句子短、錄音乾淨。粵英混合係真實對話，語言切換密集。模型嘅訓練資料以朗讀為主，遇到切換就唔夠用。

為何唔可比：五個變數

變數一：測試集

FLEURS 係多語言朗讀語料。Common Voice 係群眾錄音。兩者都係「乾淨、短句、朗讀為主」。真實會議係「有噪音、長句、搶住講」。

用朗讀語料測出嚟嘅 5%，唔代表你嘅會議錄音會係 5%。

變數二：語言定義

「粵語」有三種常見寫法：香港繁體、廣州簡體、混合英文。同一個模型，三種寫法嘅錯法完全唔同。

更關鍵嘅係：你要求輸出「口語字」（唔、嘅、咗）定「書面語」（不、的、了）？要求唔同，正確答案唔同，字錯率亦唔同。

變數三：指標（WER 定 CER 定 MER）

三個指標唔同：

• WER 係按「詞」計錯（word error rate）。英文用詞，中文要切詞，切法會影響結果。
• CER 係按「字」計錯（character error rate）。中文常用，但英文詞會被逐字母計。
• MER 係混合計錯（mixed error rate）：中文按字、英文按詞。呢個係粵英夾雜最合理嘅計法。

WenetSpeech-Yue 團隊就明確用 MER，理由正係「中文按字、英文按詞」（論文）。如果換成純 CER，一段含 10 個英文詞嘅句子，錯誤率會被放大。

舉例說明。一句「我哋今個 quarter 要 meet 到 target」，含 3 個英文詞。用 MER 計，英文部分只計「quarter」「meet」「target」三個單位。用 CER 計，就會逐字母計錯，同一句錯一個字母同錯一個中文字，權重完全唔同。

變數四：樣本量

一分鐘樣本、單一講者、安靜環境，錯誤率可以低到 0.54%（第三方單樣本測試）。同一批工具換成 30 分鐘、多人、有冷氣聲，數字會完全唔同。

樣本量細唔代表造假。只代表它測唔到你會遇到嘅情況。

變數五：日期

2026 年粵語支援變化好快。Deepgram 2026-03 才加入 zh-HK；AssemblyAI 2026-09 才把 Cantonese 加入 realtime 型號。一年前嘅評測，今日已經不代表現況。

所以引用任何數字，一定要連日期。

香港第一個「真場景」benchmark

2026 年香港出現一個值得留意嘅項目：Cantonese Voice Benchmark（官網）。它用香港保險客服嘅真實通話錄音做測試集，由粵語母語者評分。

公開資料顯示：2026-1 批次有 105 條片段，其中 56 條輪替、30 條資格賽、11 條最終覆核、8 條練習。目前未公佈正式排名，只列出參考基線：開放式方案 CER 11.1%，商用語音方案 CER 8.6%。

呢類項目嘅意義唔在於誰第一。在於它把「真實客服錄音」變成可比較嘅基準。客服錄音同朗讀語料係兩個世界：有背景音樂、有雜音、有重疊發言、有電話頻寬限制。

【獨家觀察】我哋睇過幾個香港團隊嘅實際投訴，最常出現嘅落差係「demo 好準，上線唔準」。原因幾乎都係同一個：demo 用乾淨樣本，上線用電話錄音。電話頻寬令高頻細節消失，模型表現自然跌。

五個必問問題（拿去問任何供應商）

1. 測試集係咩？ 公開語料（FLEURS／Common Voice）定自建？自建嘅話，錄音條件係咩？
2. 邊種粵語？ 香港繁體、廣州簡體、定混合？輸出係口語定書面語？
3. 用邊個指標？ WER／CER／MER？中英夾雜段落點計？
4. 樣本幾多？ 幾多條片段、幾多位講者、總時長幾多？
5. 幾時測？ 用邊個型號版本？

如果對方答唔到第三同第四題，個數字就只能當宣傳，唔可以當規格。

我哋自己點做（同限制）

【實測】我哋 2026-10 做過一次詞表實驗：26 條粵語片段、20 個專有名詞，比較「冇詞表」同「有詞表」兩個條件。結果係 8 個詞修正、零回歸，整體正規化 CER 由 0.1015 降到 0.0895。

同一批測試亦發現一個失效模式：音檔碼率低過 32 kbps、而詞表又太短時，引擎會傾向「照讀詞表」，即輸出詞表內容而唔係轉寫。呢個模式在 4 個樣本上全部重現。

我哋嘅限制要講清楚：26 條片段係細樣本，唔可以外推成「整體準確度」。所以呢篇文冇寫「港嘢 CER 係 X%」。要有資格寫，先要有一個夠大、夠雜、公開方法嘅測試集。

測試方法本身可以參考 廣東話語音轉文字實測：WER、中英夾雜、港式英文點樣測。詞表部分見 粵語熱詞辨識 同 自訂詞彙測試協議。

一個實用結論

如果你只記一句：唔好問「你幾準」，要問「你喺我嘅錄音上面幾準」。

實際做法係準備三條自己嘅錄音：最好嘅一條、最差嘅一條、最多英文詞嘅一條。三條都跑一次，逐句對。呢個測試兩個鐘內做完，但比讀十篇 benchmark 有用。

想知唔同領域嘅實際落差，可以睇 變調同連讀點樣影響 ASR 準確度 同 廣東話中英夾雜 IVR 實測。

常見問題

廠商講 3% 係唔係一定假？

唔一定。3% 可能係喺朗讀語料、乾淨錄音、單一講者條件下量到。問題係呢個條件同你嘅場景有幾遠。

點解同一個模型可以有 5% 同 20% 兩個數？

因為測試集唔同。朗讀語料同真實對話係兩個難度級別。呢個唔係誤差，係兩個唔同事實。

香港口音會唔會特別難？

會。香港粵語有懶音、中英夾雜、語速快三個特徵。三者疊加，就係最難嘅組合。所以用「全球粵語」平均數會高估你嘅實際表現。

我應該信邊份 benchmark？

信「測試集同你場景最接近」嗰份，並且要睇日期。冇一份 benchmark 可以代替你自己嘅三條錄音。

關於呢篇文

本文由港嘢內容團隊整理，所有數字附原始連結同抓取日期（2026-10-31）。發現數字過期或者有更好來源，歡迎 聯絡我們 指正；想了解我哋嘅粵語語音工作，可以睇 關於港嘢 或 廣東話語音轉文字。

資料來源：Speechmatics 粵語頁 FLEURS 表；ElevenLabs 粵語頁與語言文件；AssemblyAI 2026-10-26 語言文章；github.com/AlienKevin/cantonese_asr_eval；WenetSpeech-Yue 論文（AAAI 2026，arxiv 2509.03959）；Cantonese Voice Benchmark 官網（2026-10-31 抓取）。