粵語語音 Agent 開發全攻略：由 ASR 到 TTS

一句答你： 開發一個識講廣東話嘅語音 agent，核心係三件事——攞到一個穩定嘅粵語 TTS 引擎、處理好口語化文本嘅前置轉換、再用 API 將生成流程自動化接入你嘅應用；揀啱工具同架構，兩三個禮拜就可以行到個 MVP 出嚟。

Key Takeaways

• 語音 agent 廣東話開發嘅最大難點唔係 AI 對話本身，而係粵語「口語 vs 書面語」嘅落差同多音字、語氣詞嘅處理
• 架構上建議由「文本前置清理 → TTS 生成 → 音頻交付」三層做起，唔好一開始就堆 emotion、cloning 等進階功能
• API 接入要留意字符限制、限流、在途任務上限呢啲硬規格，設計時就要做好 retry 同 queue
• 成本控制由第一天就要計：粵語 TTS 大約 240 字符講一分鐘，用呢條數反推你嘅配額需求
• 測試要用真實用戶語料，特別係中英夾雜、人名、數字讀法呢啲易錯位
• 揀平台優先考慮粵語原生支援同 API 文件質素，而唔係淨係睇價錢

咩係粵語語音 Agent？先搞清楚你要起嘅係咩

講「語音 agent 開發」，市面上其實有幾種唔同嘅嘢，好多人一開始就撈亂：

• 對話式語音助手：用戶講嘢 → 語音識別 → AI 理解 → 生成回應 → TTS 讀返出嚟。成條鏈最尾嗰步就係粵語 TTS。
• 內容播報 agent：自動將文字內容（新聞、通知、報價）轉做語音輸出，例如客服外呼、廣播系統。
• 多媒體製作 pipeline：批量將腳本轉旁白，俾影片、課程、有聲內容用。

三種 agent 嘅共通點：出口都係一個穩定、自然、識講地道廣東話嘅 TTS 服務。而呢一步，正正係粵語市場最痛嘅位——大部分國際 TTS 平台嘅「中文」其實係普通話優先，粵語只係附贈，讀出嚟陰聲細氣又唔似樣。

如果你想先全面了解粵語 TTS 嘅基本盤，建議睇下我哋篇廣東話 TTS 完全指南，再返嚟睇開發架構會更順。

點解粵語 agent 特別難做？三個核心挑戰

挑戰一：口語同書面語係兩套系統

普通話嘅書面語同口語大致重疊，但粵語唔係。你個 agent 嘅 AI 生成出嚟嘅回應文本，多數係書面語（「我很高興為您服務」），但你嘅香港用戶期望聽到嘅係口語（「我好開心可以幫到你」）。

呢個落差有兩個處理方向：

1. 喺 LLM 層面解決：prompt 裏面明確要求模型輸出口語粵語書寫（例如用「嘅、咗、喺、畀」呢啲粵語字）
2. 喺 TTS 前置層解決：寫一個文本轉換層，將書面語映射做口語

實務上我哋建議兩層都做：LLM 盡量出口語，前置層執漏。點解？因為 LLM 唔會 100% 聽話，而 TTS 引擎讀到書面語句式時，出嚟嘅語調會「粵語腔普通話化」，一聽就假。深入討論可以睇書面語 vs 口語粵語 TTS 處理。

挑戰二：多音字同破音

粵語嘅多音字密度好高，一個字錯讀，成句嘢即刻唔專業。常見炸彈包括：

你嘅 agent 如果會讀出用戶名、地址、金額，呢啲位就更加要小心。處理策略包括：建一個替換詞典（text normalization layer）、或者喺文本入面加注音標記。我哋有篇廣東話多音字完全攻略專門拆呢個題目，開發前好值得睇。

挑戰三：語氣詞同中英夾雜

香港人講嘢，一句入面三個語氣詞（「係喎、咩、囉、喎」），中途插兩個英文字（「你 send 咗個 file 俾我未」）係日常。你個 agent 要處理到呢啲先算「地道」：

• 語氣詞讀得生硬，成段嘢就會似機器人。TTS 引擎對語氣詞嘅支援差異好大，可以參考粵語語氣詞點樣影響 TTS 自然度
• 中英夾雜需要 TTS 引擎識別 code-switching，自動轉英文發音。呢方面可以睇廣東話中英夾雜嘅 TTS 處理

粵語語音 Agent 嘅推薦架構

講咗挑戰，而家畀個實務架構你。以下係一個生產級粵語語音 agent 嘅基本分層：

用戶輸入 / 觸發事件
        ↓
┌─────────────────────────┐
│  對話/業務邏輯層 (LLM)    │ ← 生成回應文本（要求口語粵語輸出）
└─────────────────────────┘
        ↓
┌─────────────────────────┐
│  文本前置清理層            │ ← 多音字詞典、數字/日期轉換、
│  (Text Normalization)    │    書面→口語映射、敏感詞過濾
└─────────────────────────┘
        ↓
┌─────────────────────────┐
│  TTS 生成層               │ ← 呼叫粵語 TTS API
│                          │    選聲線 + 演繹風格
└─────────────────────────┘
        ↓
┌─────────────────────────┐
│  音頻交付層               │ ← 快取、串流、下載、播放
└─────────────────────────┘

對話邏輯層：點樣令 LLM 講「人話」

無論你用邊個 LLM，prompt 工程係關鍵。幾個實用技巧：

• 明確指示輸出口語：「請用香港口語粵語書寫回應，使用『嘅、咗、喺、咁、囉』等粵語字，避免書面語句式」
• 俾 few-shot 例子：貼兩三個「理想輸出」示範，效果比純描述好
• 限制長度：語音回應太長會悶死用戶，通常 100–200 字一段最理想

文本前置清理層：agent 嘅「守門員」

呢層係最多人忽略、但又最影響成品質素嘅一層。要做嘅嘢：

1. 數字轉讀法：「HK$1,280」要轉做「一千二百八十蚊」，唔係俾 TTS 自己估
2. 日期時間格式：「2026/03/15」轉「二零二六年三月十五日」
3. 多音字詞典：維護一個詞組級嘅替換表，例如「重新」直接替換做注音或者近義口語詞
4. 縮寫展開：「VTC」「OT」呢啲香港縮寫，決定係讀英文定展開
5. 標點微調：標點直接影響 TTS 停頓位，細節可以睇標點符號點樣控制 TTS 停頓

呢層寫成獨立 module，好處係可以單獨測試、單獨迭代，唔使掂 TTS 呼叫邏輯。

TTS 生成層：揀聲線同風格

呢度就係揀 TTS 供應商嘅位。揀嘅準則：

• 粵語係第一公民定附贈品：平台係專注粵語，定係「順便支援」粵語
• 聲線質素同選擇：有冇多把唔同年齡性別嘅粵語聲線可以揀，最好有試聽樣本先決定
• API 設計：文件清唔清晰、有冇 OpenAPI spec、錯誤碼講唔講得明
• 演繹風格／情緒控制：agent 唔同場景要唔同語氣（客服要耐性、廣播要有精神），有風格控制會方便好多

音頻交付層：快取係你最好嘅朋友

如果 agent 會重複讀類似內容（歡迎訊息、確認語、選單），一定要做音頻快取。同一句嘢唔好每次重新生成——慳錢又慳延遲。實務做法係用文本 hash 做 cache key，配一個 TTL。

API 接入實務：用港嘢做例子

講完概念，用實際 API 規格示範點接。以下根據港嘢公開 API 規格（觀察日期 2026-10）。

基本流程：async job pattern

大部分粵語 TTS API 用 async 模式——你提交任務，攞個 job ID，再輪詢攞結果：

POST /v1/audio/jobs    → 202 (job_id)
GET  /v1/audio/jobs/{id} → 輪詢至完成，攞 audio_url
下載 audio_url（無需 auth header，URL 已預簽）

短文本（例如 300 字符以內）有 sync 捷徑，直接回音頻，適合即時對話場景——但留意 sync 通常只支援 preset 聲線同 design，唔支援 clone 同 SRT。

必須處理嘅硬限制

開發前將呢啲規格寫入你嘅 error handling，唔好到 production 先發現：

特別提「單次 500 字符」呢條：API 係直接拒絕超長文本，唔會幫你截斷。所以你嘅 agent 一定要自己寫切句邏輯——建議按標點切，每段留返語境完整，切完逐段生成再合併。

在途任務上限點設計

各方案嘅並行上限唔同（免費 3、入門 5、專業 10、工作室 20）。如果你嘅 agent 短時間會爆量（例如外呼活動），兩個選擇：

1. 本地 queue：自己維護一個 job queue，控制同時在途數量喺上限以內
2. 升級方案：如果量係長期穩定，直接上專業級慳返工程時間

仲有一個位好易中招：撞到在途上限時 API 會回 429，唔係 500。你嘅 retry 邏輯要識分——429 係「等一陣再試」，帶指數退避；5xx 先係真錯誤。

Sandbox key：免費試接嘅正路

唔想一開始就俾錢？用 sandbox key 試接。以港嘢為例，免費同入門用戶可以開測試 key，每日有限額嘅生成呼叫次數（觀察日期 2026-10：每日 20 次生成提交，輪詢同下載唔計數），升級之後同一條 key 會自動變正式 key，唔使重新接駁。呢個對開發流程好友善——代碼由測試轉正式，一行設定都唔使改。

如果你係第一次接粵語 TTS API，建議先睇粵語 TTS API 快速上手同點樣用 API 生成地道粵語語音，有 step-by-step 示範。

成本規劃：由「每分鐘幾多錢」倒推

開發語音 agent，成本模型要由第一天就諗。條數係咁計：

估算基準：大約 240 字符 ≈ 1 分鐘語音（根據一般中文語速推算）

倒推例子：

幾個省錢貼士：

• 快取重複內容：歡迎語、選單語音只生成一次
• 文本精煉：LLM 回應簡潔啲，字符即係錢
• 留意免費額度性質：有啲平台免費額度係一次性（月月重置），有啲係每月重置，簽約前問清楚
• 超額用字符包定升級：如果用量波動大，字符包做緩衝；穩定超額就升級方案更抵

詳細嘅價目對比同成本計法，可以睇廣東話 TTS 價格指南，揀平台方面有篇廣東話 TTS 選購指南可以幫你建立評估框架。

測試策略：點驗證你個 agent「講嘢似樣」

語音 agent 嘅 QA 同傳統軟件唔同——「功能正確」唔夠，要「聽落自然」。建議分四層測：

第一層：文本層單元測試

針對前置清理層寫單元測試，案例要包括：多音字詞組、金額、日期、電話號碼、中英夾雜句、語氣詞句子。呢層測試係最便宜、最應該做足嘅。

第二層：TTS 生成煙霧測試

每次部署前，用一組固定「黃金句子」跑一次 TTS 生成，確認 API 無 break、音頻正常產出。黃金句子應該覆蓋你最常用嘅內容類型。

第三層：聽感評估

搵真人聽一段樣本，評分自然度、破音、停頓。唔使好科學——三個同事聽十句，已經可以捉到八成問題。重點聽：

• 人名、地名有冇讀錯
• 數字讀法啱唔啱香港習慣（「二零二六」定「二千零二十六」）
• 語氣詞讀出嚟自唔自然

人名讀法係重災區，可以參考粵語人名點樣喺 TTS 正確讀出。

第四層：端到端場景測試

用真實用戶輸入跑成條鏈，特別係啲「污糟」輸入——用戶打錯字、全形半形混用、emoji、超長句。你個 agent 喺呢啲情況下會點？係 gracefully 降級定直接炸？

想建立更系統化嘅測試方法，可以睇粵語 TTS 準確度測試指南。

開發路線圖：由零到 production 嘅四個階段

最後畀個實務路線圖你，按呢個次序做，唔會行冤枉路：

第一階段（第 1 週）：可行性驗證

• 開 sandbox／免費帳戶，試齊心水聲線
• 用你真實業務嘅語料（唔係 hello world）跑幾十句生成
• 確認音質、破音率喺可接受範圍

第二階段（第 2–3 週）：MVP

• 寫文本前置清理層（最少版：數字＋金額＋日期）
• 接 API，做基本 error handling 同 retry
• 行通「輸入 → 生成 → 播放」全鏈

第三階段（第 4–6 週）：強化

• 加多音字詞典同口語映射
• 加音頻快取
• 補齊監控：生成失敗率、延遲、配額用量
• 聽感測試，迭代 prompt 同詞典

第四階段（第 6 週後）：scale

• 視乎用量升級方案或者加字符包
• 考慮批量生成 API 整合
• 如果要多聲線對話，研究多說話人對話生成嘅做法（參考TTS 多說話人對話指南）

常見問題 FAQ

開發粵語語音 agent 一定要用粵語專門嘅 TTS 嗎？

強烈建議。通用平台嘅粵語多數係副線產品，聲線選擇少、粵語特有現象（語氣詞、多音字、中英夾雜）支援參差。粵語專門平台喺呢啲位係由設計就考慮到，出嚟效果差距好明顯。揀平台時記得用真實業務語料試，唔好只聽官方 demo。

用 LLM 直接生成口語粵語文本，TTS 就可以直接讀？

理論上得，但唔可靠。LLM 會混合書面語句式、用錯粵語字、生成奇怪嘅語氣詞組合。最穩陣係 LLM prompt 要求口語輸出，再加一層前置清理執漏。兩層配合，破音同「普通話腔」會少好多。

短回應對話場景，用 sync API 定 async API？

單次 300 字符以內嘅即時回應，sync 捷徑最適合——一次請求直接攞音頻，延遲最低。長內容（旁白、報告）就用 async job pattern。留意 sync 通常唔支援 clone 同 SRT 呢啲進階功能。

音頻檔案應該自己儲存定依賴平台嘅 URL？

自己儲存。平台出嘅音頻 URL 通常有時效（例如 1 小時到 7 日不等），過期就攞唔返。Agent 攞到 URL 之後應該即刻下載，存入你自己嘅 storage，再喺資料庫記低「文本 → 本地音頻路徑」，方便快取重用。

免費額度夠唔夠做開發測試？

足夠做初步評估，但要做完整測試就緊張。例如每月 5,000 字符（月月重置）嘅免費額度，按 240 字符一分鐘計，大約得 21 分鐘語音。認真開發建議用 sandbox key（每日有限次生成）配合入門方案，或者直接上專業級攞 API 全速同更高並行。

批量生成功能幾時需要？

當你一次過要生成大量內容——例如成個月嘅播報稿、整套課程旁白——批量 API 好有用。留意批量通常係付費進階功能，而且有單次項目數上限（例如 25 項），超額要分批。批量流程設計可以參考TTS 批量生成工作流程。

粵語語音 agent 仲可以接落 MCP 或者 AI agent 框架？

得，而且係趨勢。透過 MCP 等 agent 整合協議，LLM agent 可以直接調用 TTS 能力作為工具，令 AI 助手「識講廣東話」。呢種整合模式對開發者嚟講接駁成本低，詳情可以睇粵語 TTS 嘅 MCP agent 整合。

[!CTA]

想試下粵語 TTS 生成效果？

即刻去港嘢 Playground 免費試聽多把粵語聲線，用你自己嘅文字行一次生成流程。