粵語語音 AI 點樣評測？拆解 Cantonese Voice Benchmark 六大量度（2026）

評測一個粵語語音 AI 系統好唔好用，唔可以淨係「聽下順唔順耳」。現時最完整嘅公開評測框架之一，係用真實香港保險通話做量度嘅 Cantonese Voice Benchmark（粵語語音基準）：以四大支柱評一個語音系統——聽（ASR，佔 20%）＋理解（LLM 評審，佔 25%）＋講（TTS，佔 30%）＋對話（E2E，佔 25%），四大支柱之下再細分六大量度：字錯誤率（CER）、LLM 評審評分、MOS 自然度、聲調準確度、回應延遲（TTFB）、對話自然度。

呢篇文章逐項拆解呢六個量度嘅計法同設計原因，最後整理成企業揀選粵語語音方案時可以直接用嘅五條檢查問題。文中第三方資料全部來自 Cantonese Voice Benchmark 官方網站，完整方法論見官方 Methodology 頁。

點解粵語評測特別難？

六個聲調：轉個調，就轉咗個字

粵語有六個聲調，聲調係字義嘅一部分。官方網站用保險場景最常見嘅幾對字做示範：

• 保（bou2）／報（bou3）——「保險」係張保單；「報險」係就住張保單提出索償。官方形容：兩個字喺同一個電話都成日出現。
• 買（maai5）／賣（maai6）——低升調對低平調。官方形容：喺銷售電話讀反咗，就調轉咗邊個買邊個賣。
• 賠／陪、理財／理賠、退保／投保——官方嘅 tone-sensitive 詞表仲有呢幾對；「理財」同「理賠」爭嘅唔止一個音，係成個客戶處境。

冇字詞界綫：WER 冇意義，用 CER

英文有 spaces 分隔字詞，所以識別評測用 Word Error Rate；廣東話書寫冇字詞界綫，官方直接指出 WER 對呢種語言「無意義」（meaningless）。所以粵語（同中文）評測標準係字錯誤率：CER ＝（替代 S＋刪漏 D＋插入 I）÷ 參考字數，並且按 corpus-level 加權計，唔係逐段平均——否則一段短 utterance 會同一個九十秒通話佔一樣比重。

官方網站有個好生動嘅例子。客人講：

我想買呢份危疾保險，保額五十萬

系統聽返：

我想賣呢份危疾報險，保額五萬

兩個替代＋一個刪漏＋一個插入，17 個參考字入面錯 4 個，CER 23.5%。而且四個錯入面三個改變成個電話嘅意思：買變賣、保險變報險、漏咗個零——五十萬保障聽成五萬。呢個就係點解聲調同數字喺粵語識別入面唔可以當小事。

中英夾雜係常態，唔係例外

香港服務對話密集中英夾雜。所以除咗 CER，官方仲用混合錯誤率（MER）：中文字逐隻計、英文詞成個詞計——聽錯一個英文字計一個錯，而唔係逐個字母計四個錯。冇呢層，中英夾雜語音會被系統性超額扣分。

講（TTS）：最難搞嘅一環

官方網站對 TTS 支柱有句好直嘅判語：「No dominant Cantonese voice exists, and the reasons are structural」——冇任何一個粵語聲線有壓倒性優勢，而且原因係結構性，唔係多啲訓練資料就解決到。官方列出四大失敗模式：

1. 聲調拉平（Tone flattening）——「婦」（fu5）喺快語速或句尾讀成「父」（fu6）。官方形容：太太變老竇——句子照樣流暢，但人變咗；喺讀出受益人個名嘅通話入面，冇上下文可以救返。
2. 照書面語讀出（Reading written Chinese aloud）——口語應該係「冇」，佢讀「沒有」：成句係合文法嘅標準書面語用粵音讀出。官方形容：每句都正確，但冇人係咁樣講嘢——呢個係合成聲露口風嘅最常見方式。
3. 中英夾雜語調斷裂（Code-switch prosody）——「你個 claim 已經 approve 咗」入面，英文字用英文嘅重音同節奏讀，一句嘢聽落似中途轉咗第二個人講。官方形容：香港人轉語言轉得好順，呢度有 seam，比讀錯一個字更礙耳。
4. 數字串冇分組（Digit strings）——保單號碼逐個字平均讀、冇分組，或者「一」「七」聲調錯。官方形容：要重複一次嘅保單號碼，就係長一倍嘅通話，而且客人第一次已經抄錯。

所以 TTS 支柱唔係單一個「自然唔自然」分數，而係分開評：MOS（自然度同可懂度由 native 聽眾分開評——官方指出兩者會背離：一把平板嘅聲可以完全清楚，一把溫暖嘅聲照樣讀錯保單號碼）＋聲調準確度（將買／賣、保／報呢類 minimal pairs 交俾 TTS 讀，再由識別器聽返：改變字義嘅嗰個聲調差別，保唔保得住）。

理解：幻覺先係最貴嘅錯

官方有句話講得好白：幻覺出嚟嘅保障，喺文字稿入面唔似一個錯誤——佢睇落似好服務，呢個正正係點解要將佢獨立評分。

官方用同一條問題示範。客人問：

我做 physiotherapy，一個療程十次，一次八百蚊，我份 plan cover 唔 cover 到？

• GROUNDED（有事實根據）：答保單確實有物理治療保障，但講明喺通話內容入面睇唔到每次上限同年度限額，要查返保單條款先可以畀準確數字，並提議幫客人開查詢跟進——答少咗客人想聽嘅嘢，但呢個先係啱嘅份量。
• INVENTED（自創）：答「完全 cover 到，每次八百蚊喺保障範圍，一年最多二十次，唔使預先 approve」——保障範圍、每次上限、年度上限、「唔使預批」，全部係保單文件冇嘅事實。客人聽完，即刻去約十個療程。

評審按四個維度評分（1–10 分制，公開 anchor）：指令跟從、粵語地道程度、幻覺（有冇自創）、通話事實處理。9–10 分官方明言係留俾「主管都唔使再改」嘅答案，而且應該少見——正確但 generic 嘅答案只值 6–7 分。評審由兩個模型各自評三次、取中位數，兩個模型差距大嘅條目會標記為 contested，而唔係夾硬平均。

對話：The gap is the product

E2E 支柱喺官方網站有個好值得企業記住嘅標題：「The gap is the product」——客人講完之後嗰段靜默，先係產品本身。官方用同一句回應、唔同等待時間做示範：

• 240ms → 100 分：喺人同人對話自然留白嘅範圍之內，聽落似對方仲喺度聽。
• 1,000ms → 59 分：停頓明顯，客人開始懷疑佢係咪聽到。
• 2,300ms → 0 分：客人講咗聲「喂？」，跟住兩個人齊齊開口。

量度口徑仲有兩個位好貼地：

• 計 95 百分位（p95），唔係中位數——官方形容：一個「通常好快、間中攞兩秒」嘅系統，客人體驗就係慢。
• 讓位（yielding the floor）——每個對話場景結尾，客人會打斷系統；量度系統之後幾耐停口，500ms 內停先算讓位。官方形容：又快又唔肯停口嘅系統，比慢嘅更差——淨量度延遲嘅評測會將佢排第一。

個資料庫點處理？

評測可唔可信，好視乎背後嘅資料。Cantonese Voice Benchmark 用嘅唔係讀稿音頻，而係真實香港保險 contact-centre 錄音（共 105 段，由資料夥伴保誠香港提供，屬已同意使用並經處理嘅通話）。幾個企業應該關心嘅位：

• 語紋係生物辨識資料，所以唔公開下載——官方解釋：將人名同保單號碼從錄音移走，唔等於去識別化；根據香港《個人資料（私隱）條例》（PDPO），語紋屬生物辨識個人資料，就算內容匿名，把聲本身都係個人資料。所以每段真實錄音只交俾接受條款嘅具名接收方，唔設公開永久下載。
• Masking ＋ native 審核——姓名、保單及證件號碼、電話號碼喺音頻同文字稿兩邊移走；native 粵語審核員確認 masking 完整、音質冇整壞，domain 專家抽查樣本；原始錄音喺 masking 驗證後即刻刪除，評估副本喺賽季結束 30 日後刪除並發出刪除證明。
• 11 段 holdout 防背題——資料分三份：8 段練習（有公開答案）、56 段輪換（每次評分抽 30 段）、11 段 holdout 留作最後驗證，任何參賽者永遠唔會攞到。

評分哲學：寧願平手，唔好假名次

區間重疊 ＝ 平手

每個分數伴隨 10,000 次重抽樣嘅 bootstrap 區間；兩個參賽者嘅 95% 區間重疊，官方就報「平手」（tied），唔會強行排先後——官方形容：喺噪音範圍入面印一個嚴格次序，係 false precision。目前最闊嘅已公佈區間係 ±14.08 分，細過呢個數嘅差距一律報平手。官方 FAQ 甚至有專條解答「點解三隊一齊排第 2」：因為佢哋嘅置信區間重疊——「Tied 嘅意思係我哋分唔開佢哋；講實呢句，比發明一個贏家更有用」。

完美 100 分，設計成近乎攞唔到

官方將「完美 100 需要乜」寫到明：認知支柱要 30 段真實通話零替代、刪漏、插入；理解支柱要 30 個通話 × 4 維度 × 2 模型 × 3 次＝720 個 10 分，而評分指引明言 9–10 分應該少見；講嘅支柱要人類評審五個準則全部滿分（一個讀錯嘅數字已經封頂）；對話支柱四個準則全部滿分。官方形容呢個天花板「接近攞唔到」——正因為咁，分數先至有意義。

每 attempt 換卷

由 Online Challenge 開始，每次評分 attempt 都重新抽 30 段通話（該隊未聽過嘅優先）；講嘅測試由 60 段保險 passage（10 個題目 × 6 段）輪轉，每隊頭六次講嘅 run（練習＋評分計埋）唔會重複同一段。官方解釋：池會不斷擴大，正係令分數係一個「量度」，唔係一場「記憶測試」。

企業點用呢啲準則揀粵語語音方案

就算唔參賽，呢套量度框架都可以直接變成企業揀方案嘅驗收清單。五條問題，建議逐條問供應商：

1. 聽：問 CER，唔好只收 WER——廣東話冇字詞界綫，供應商如果只報 WER 或者英文 benchmark 分數，粵語準確度嘅參考價值有限。要求睇真實通話場景嘅粵語 CER，再問埋中英夾雜點計。
2. 講：有冇逐對評聲調？——要求供應商示範 報／保、買／賣、賠／陪、理財／理賠 呢類字對，唔係淨係聽 demo 段落順唔順耳。聲調錯係換字，唔係「唔夠自然」。
3. 講：出書面語定口語？——「冇」定「沒有」、「唔使」定「不必」？照書面語讀出嘅聲，係香港人耳仔入面「機械腔」嘅第一來源。
4. 對話：回應延遲幾多？p95 定中位數？——問回應延遲嘅 p95，同埋俾客人打斷嗰陣幾耐停口。240ms 同 2,300ms 係兩個唔同嘅產品。
5. 資料：有冇按 PDPO 處理？——用真實客戶聲音做測試或者微調，語紋屬生物辨識個人資料。問清楚 masking 流程、保留期限同刪除機制。

我哋港嘢 Canto-Gen 就係喺呢套標準之下，以自家粵語語音引擎完成 Cyberport × 保誠香港合辦嘅 Cantonese Voice AI Challenge 全面測試，獲評 1st tier candidate 並晉級 11 月 Grand Finale。賽事背景同過程，可以睇返我哋兩篇活動記錄：晉級 Cantonese Voice AI Challenge 決賽輪同SME AI Innovation Challenge 八強實況。

如果正在為客戶服務場景揀粵語語音方案，歡迎睇下我哋嘅企業方案同AI 客服。

FAQ

點解粵語評測用 CER 唔用 WER？

因為廣東話書寫冇字詞界綫，「字」先係自然計算單位。官方指 WER 對呢種語言無意義，所以以 CER 為標準，並按 corpus-level 加權；中英夾雜場景另加 MER，聽錯一個英文字詞計一個錯，唔會逐個字母超額扣分。

語音資料嘅私隱點處理？

真實通錄嘅語紋屬生物辨識個人資料（PDPO 口徑），所以基準唔提供公開下載，音頻只交俾接受條款嘅具名接收方。內容層面做 masking（姓名、證件及保單號碼、電話號碼），native 審核員驗證，原始錄音喺 masking 驗證後即刻刪除，評估副本 30 日後刪除並發刪除證明。

兩個方案評分平手，點算？

官方口徑：95% bootstrap 區間重疊＝報平手，唔強行排次序。企業做 POC 一樣適用——差距喺噪音範圍之內，就應該按落地支援、整合成本、場景貼合度等非分數因素做決定，而唔係捉一個無意義嘅小數位。

Canto-Gen 咩成績？

港嘢 Canto-Gen 以自家粵語語音引擎參加 Cyberport × 保誠香港合辦嘅 Cantonese Voice AI Challenge，獲評 1st tier candidate、晉級 2026 年 11 月 Grand Finale 決賽輪。排行榜未公開，決賽結果待官方公佈；最新進展會喺活動頁更新。