目錄（17 節）
廣東話 AI 客服聽唔明中英夾雜？由辨識到回覆嘅三層實戰設計
中英夾雜唔係噪音，係香港人正常講法。問題係多數語音系統只當佢係雜訊。呢篇由 ASR 到 TTS 逐層拆，附測試語料同驗收數。
重點摘要
- 香港人講嘢出名句內夾英文，唔係「唔識講中文」，而係正常語碼轉換。
- 一份香港 WhatsApp 語料研究發現，12.6% 嘅句子有語碼轉換，當中 99.5% 係句內發生（Gonzales & Tsang, 2023）。
- 同一份研究亦發現，英文插入以名詞為主，佔 35.95%，專有名詞再佔 27.35%（Gonzales & Tsang, 2023）。
- 所以問題唔係「加一個英文模型」，而係三層都要識分：邊部分係英文、邊部分要照讀、邊部分要譯。
- 最常見死法係一句話鎖死
zh-HK，英文詞直接被當雜訊刪走。 - 以下係一套可以照抄嘅設計同驗收方法。
一句話入面，香港人點樣夾英文
先睇一句好普通嘅客服對白：
「幫我 check 下個 invoice 幾時 send，同埋個 refund 到未？」
呢句有四個英文詞。它們唔係點綴，而係承載意思嘅名詞同動詞。語碼轉換（code-switching） 係指同一個對話入面交替使用兩種語言。句內轉換（intra-sentential switching） 係指轉換發生在同一句之內，唔係講完一句英文再講一句中文。
香港嘅情況有幾個特徵，直接影響系統設計。
第一，粵語通常係「母體語言」。英文詞插入粵語句框，唔會反過來。研究顯示，73.1% 嘅句內轉換以粵語為母體（Gonzales & Tsang, 2023）。
第二，英文多數係名詞。例如 invoice、quotation、KYC、appointment。呢類詞硬譯做「發票」「報價單」，客人反而要再問一次。
第三，英文詞嘅讀音會跟香港口音。data 可以讀「dei-ta」，schedule 可以讀「sked-jool」。同一條街名，中英文讀法可以並存。
呢個現象唔止出現在聊天。香港粵語長期同英文接觸，連語法結構都會局部借用，例如 which 引導嘅關係子句（Li, 2022）。所以「英文只係少量借詞」呢個假設，一開始就錯。
【獨家觀察】我哋整理客服對話時見到一個模式：客人第一次講會用完整中文，第二次不耐煩就會縮短成英文詞。例如由「幾時可以攞貨」變成「幾時 ready」。所以對話越後段，英文比例通常越高。
香港超過 35 萬家中小企，佔全港企業逾 98%（立法會工商及創新科技事務委員會, 2026）。大部分冇專職 IT 團隊。所以設計要夠簡單，唔可以要求每次加產品都改模型。
四類夾雜，四種唔同風險
唔係所有英文詞都同一種處理。最少要分四類。
| 類型 | 例子 | 系統風險 | 正確做法 |
|---|---|---|---|
| 普通名詞 | invoice、refund、status | 被硬譯，客人要重講 | 保留原詞，必要時加一次中文解釋 |
| 專有名詞 | 品牌名、產品代號、街道名 | 讀錯音，或拆開逐個字母讀 | 建發音詞庫，整個詞處理 |
| 動詞／短語 | check 下、follow up、send 返 | 被當成兩個獨立詞，語序亂 | 當成一個語意單元 |
| 縮寫 | KYC、PDPO、OTP | 逐字母讀，或當成普通英文字 | 按香港慣用讀法，必要時讀全稱 |
最危險嘅係第二類同第四類。因為它們一旦讀錯，客人會即刻覺得「呢個 AI 唔識我哋行業」。信任就係喺呢一秒斷。
三層設計：辨識、理解、回覆
一條完整鏈路係：客人開口 → 語音辨識 → 對話理解 → 回覆生成 → 語音合成。中英夾雜會喺每一層造成唔同錯誤。分層處理，先可以知道邊層出問題。
【獨家觀察】大部分「AI 聽唔明廣東話」嘅投訴，其實唔係模型唔識粵語，而係 pipeline 中段有人做了一個錯誤決定：把英文詞過早正規化。呢個決定通常寫喺前處理，唔喺模型。
第一層：ASR 要逐句判定，唔好全句鎖語言
好多系統一開頭就設 language=zh-HK。呢個設定對純粵語有效，對夾雜句就會出事。因為解碼器會傾向用粵語音素去解釋英文詞，得出「in voice」「refund」變成「喺獲」「拉返」之類。
比較穩嘅做法有三個。
- 唔好鎖死單一語言。 用自動語言判定，或者至少容許中英雙語解碼。
- 保留英文原拼法。 輸出文字唔好即刻轉做中文譯名。
invoice就係invoice。 - 逐句標語言。 每個 utterance 帶一個語言標籤，交下一層決定點處理。
如果供應商只提供單一語言模型，就要問清楚：英文詞係保留、丟棄，還是強制轉中文。呢個答案會直接影響後續所有設計。
仲有語速。粵語講快咗，音節會黏埋一齊。實測顯示，語速由正常 5.11 音節／秒升到 7.40 音節／秒時，出現音節融合嘅比例由 23% 升至 61%（Wong, 2004）。呢個就係為何客人一急，辨識就跌。
第二層：理解層唔好「見英文就譯」
理解層嘅工作係抽出意圖同參數，唔係做翻譯。
例如「幫我 check 下個 invoice 幾時 send」，意圖係「查詢發票發送時間」。參數係「invoice」同「send time」。如果你先譯成「幫我檢查一下發票什麼時候發送」，意圖可能仍然對，但語氣已經變了書面語。之後回覆亦會跟着書面語走。
意圖（intent） 係客人想做咩事。實體（entity） 係當中被提到嘅具體資料，例如訂單號、日期、金額。呢兩樣要分開抽。
仲有一個細節：英文詞唔一定係實體。follow up 係動作，OK 係確認，by the way 係話題轉移。如果全部當實體，會幹擾檢索。
第三層：TTS 讀音同語速
回覆要用邊種語言？最簡單嘅規則係「跟客人」。客人用幾多英文，你就用幾多英文。呢個叫語言鏡像。
但唔好鏡像到過火。客人講「個 refund 幾時到」，你可以答「退款三個工作天內到」，唔需要刻意講「個 refund 三個工作天內到」。原則是：保留行業術語，其他用自然粵語。
讀音方面，要為英文詞建一份發音表。最少包括品牌名、產品名、職位、常見縮寫。每次新增產品，就同步加詞。
語速亦要控制。香港電台新聞旁述嘅實測語速大約 5.19 至 6.19 音節／秒，普通人朗讀約 4.53 至 4.97 音節／秒（Mok & Wong, 2014）。客服回覆唔應該快過新聞旁述。預留停頓，客人才有機會插話。
30 條測試語料點揀
測試語料唔可以全部由自己寫。自己寫嘅句子，會 unconsciously 避開難讀位。建議用四類來源，每類至少六條。
| 來源 | 數量 | 點解要 |
|---|---|---|
| 真實客服 transcript（去識別化） | 8 條 | 保留真實語序同省略 |
| 前線同事口述 | 6 條 | 抓到最新產品名同潮語 |
| 客戶投訴紀錄 | 4 條 | 抓到情緒同重複句式 |
| 人工設計邊界例 | 12 條 | 覆蓋縮寫、數字、街道名、品牌名 |
每條語料要標註三樣：正確文字、正確意圖、正確讀音。冇標註嘅語料，只可以用來觀察，唔可以用來評分。
四個驗收指標
- 整體字錯率（WER）： 所有句子嘅平均錯誤率。
- 夾雜段字錯率： 只計含英文詞嘅片段。呢個數通常明顯高過整體。
- 重問率： 客人要重講同一件事嘅比例。呢個係最貼近體驗嘅指標。
- 讀音錯誤數： 每個英文詞讀錯次數，按詞統計。
四個數要分開報。只報整體 WER，會蓋住夾雜段嘅問題。
五個最常見中伏位
- 一句鎖死
zh-HK。 英文詞被當雜訊，或變成近音中文。 - 把英文詞全部譯做中文。 客人用英文問，你用中文答，一來一回就浪費十秒。
- 逐個字母讀縮寫。
KYC讀成「K-Y-C」唔算錯，但香港人多數讀「K-Y-C」順口版；要按行業慣例決定。 - 忽略數字同單位。 「三個工作天」同「3 working days」嘅讀法唔同，停頓位亦唔同。
- 只用書面語寫回覆。 書面語唔係錯，但會令對話變得生硬，尤其係投訴場景。
常見問題
係咪一定要用支援中英夾雜嘅 ASR？
唔一定。你可以用雙語解碼，或者前後處理補救。但你要接受一個代價：夾雜段嘅字錯率會上升。最好嘅做法係先量度，再決定要唔要換。
英文詞應該保留原拼法，還是轉做中文？
保留原拼法。原因係你要保留客人嘅語彙。quotation 同「報價單」在系統內可以是同一個實體，但在對話層應該跟客人用詞。
客人講英文，AI 可唔可以用中文答？
可以，但要有理由。例如客人只用一個英文名詞，其餘全中文，你用中文答係自然。如果客人整句英文，你用中文答就會顯得唔協調。
點樣說服管理層投資測試語料？
用重問率同投訴率講。夾雜段出錯，客人通常會重講一次，或者直接要求真人。兩樣都係成本。
對話紀錄要保留幾久？
客服錄音同文字紀錄屬個人資料，要跟《私隱條例》嘅保障資料原則處理。私隱專員公署嘅《人工智能：個人資料保障模範框架》建議，機構要按風險決定人為監督程度，同時向客人披露 AI 嘅使用（PCPD, 2024）。所以「錄幾久、邊個睇、幾時刪」要在上線前寫清楚，唔好等審計才補。
資料來源
- Gonzales, W. D. W., & Tsang, Y. M. (2023). The Sociolinguistics of Code-switching in Hong Kong's Digital Landscape. Journal of Language and Linguistics Studies.
- Li, D. C. S. (2022). Constructional Borrowing From English in Hong Kong Cantonese. Frontiers in Communication.
- Mok, P., & Wong, P. (2014). A preliminary study on the prosody of broadcast news in Hong Kong Cantonese. Speech Prosody 2014.
- Wong, W. Y. P. (2004). Syllable fusion and speech rate in Hong Kong Cantonese. Speech Prosody 2004.
- 個人資料私隱專員公署（2024）。《人工智能：個人資料保障模範框架》。
- 立法會工商及創新科技事務委員會（2026-03-17）。中小企業統計背景。
- 港嘢同類主題：粵語語音 Agent 開發全攻略、粵語語音 Agent 測試指南、廣東話專有名詞讀音規則。
關於港嘢
港嘢（Canto-Gen）係香港粵語語音 AI 平台。我哋專門處理香港人真實講法，包括中英夾雜、語氣助詞同地道讀音。想睇實際效果，可以參考粵語語音 Agent 由零到上線，或者三語熱線設計。
有興趣試自己嘅客服語料，歡迎聯絡我們。我哋會先用你嘅真實對話做一輪測試，再談接入。
本文由港嘢內容團隊編輯，資料引用日期為 2026-10-31。