目錄(18 節)

粵語語音 Agent 測試指南:讀音、延遲同穩定性點驗

語音 agent 講廣東話,上線前點測?呢篇指南提供一套完整測試方法:建立測試語料、逐項驗讀音(多音字、專名、數字)、量度延遲、壓力測試限流同在途上限、語氣回歸測試,附評分準則同報告模板。

— 港嘢內容團隊約 10 分鐘語音Agent測試粵語TTS品質保證
分享:

一句答你: 粵語語音 Agent 上線前要過五關:建立測試語料、驗讀音準確度、量延遲、做穩定性壓力測試、做語氣回歸測試。每關都有具體步驟同指標:讀音用語料逐句對照評分,延遲量「提交到出聲」時間,壓力測試對照每分鐘限流同在途上限,全部照住本文步驟行就得。

Key Takeaways

  • 測試五維度:讀音準確、語言混合、延遲、穩定性、語氣一致,缺一環上線都會出事。
  • 測試語料先行:多音字、專名、數字日期、中英夾雜四類高風險句先收埋做底稿。
  • 讀音測試要人耳逐句對照評分,多音字同專名係重災區,可以對照粵拼標音同審音字庫。
  • 延遲量度分兩截:提交到完成嘅生成時間,同埋拆段播放嘅首句等待時間。
  • 穩定性測試要真係撞到限流先算數:每分鐘 60 個計費請求起跳、在途上限免費 3 個至工作室 20 個。
  • 版本一更新就要跑返同一套語料做回歸,分數有紀錄先見到劣化。

粵語語音 Agent 要測咩:五個維度

一個講廣東話嘅語音 Agent,上線之前唔可以齋靠感覺話「聽落幾順」。感覺會呃人,尤其係你聽咗幾十次之後,耳仔已經慣咗佢嘅錯誤,原本聽到會皺眉嘅位,慢慢就聽若無物。開發者自己係最唔適合做唯一評審嘅人——呢個就係要有一套正式測試流程嘅原因。

仲有一個現實:語音體驗嘅問題,等到上線先由用戶發現,代價係最貴嘅。用戶唔會幫你填詳細報告,佢只會靜靜雞走,臨走留一句「把聲好怪」。一套五個維度嘅測試流程,就係將「把聲好怪」呢句模糊投訴,拆成一格一格可以量化、可以修正嘅項目。

五個維度係:

讀音準確。 多音字讀錯、專名讀錯、變調生硬——粵語嘅讀音錯誤特別傷,因為聲調錯就係字都錯。

語言混合。 中英夾雜句、數字日期、單位量詞,呢啲「混合位」最易出事。

延遲。 用戶問完到聽到回應,中間幾耐?對話場景每半秒都算數。

穩定性。 連續跑幾百個請求,錯誤率幾多?限流撞到點處理?失敗有冇優雅後路?

語氣一致。 同一類回應,今日同尋日聽落係咪同一質感?有冇忽冷忽熱?

五個維度各有一套測法,下面逐步展開,五步行完,你對自己個 Agent 嘅認識會深一個層次。做測試之前,如果你對粵語 TTS 嘅基本流程仲未熟,先睇廣東話 TTS 完全指南補個底。

第一步:建立測試語料庫

測試嘅質素,上限喺語料嘅質素。語料差,後面幾精細嘅評分都係垃圾入垃圾出。一份好嘅粵語測試語料,至少包含四類高風險句:

多音字句。 粵語多音字係讀音錯誤嘅頭號來源。將你個 Agent 場景會撞到嘅多音字寫成句子——唔係單字測試,係放返入句度測,因為語音引擎讀單字同讀句子嘅表現可以唔同。常見多音字嘅清單同例句,廣東話多音字攻略整理咗一批,直接抄料就做得。

專名句。 香港地名、機構名、人名、樓盤名、商場名——呢啲字串引擎冇得估,讀錯最傷信任。攞你真實場景嘅專名(地區名、車站名、常見客人姓氏)逐一寫句。專名仲有一個特性:讀錯一次,用戶就會懷疑成個系統嘅可靠性,所以呢類句嘅通過要求要訂得最高。

數字日期句。 電話號碼、金額、日期、時間、樓層、車牌。數字係語音嘅經典雷區,「2026」讀「二零二六」定「二千零二十六」,「3 號」定「三號」,句句都要有標準答案先評到分。寫語料嗰陣,連單位一齊寫埋(「一百二十蚊」唔係「120」),順便測貼稿層面嘅處理。

中英夾雜句。 你個場景會出現嘅英文字:產品名、術語、動詞(book、send)。夾喺句中間讀,唔係單獨讀,因為夾喺粵語句入面嘅英文讀法先係真實使用情境。

語料規模唔使大,每類十句,四類四十句已經係一份有用嘅底稿;重點係每句都寫低標準答案(預期讀法),冇標準答案嘅語料測咗都白測。語料庫要當資產養:版本化、有紀錄、有擁有人,唔好散落喺幾個同事嘅私人檔案入面。建議語料一開始就同評分表綁定:每句一句編號、類別、標準答案、歷次評分紀錄,呢個紀律前期好似煩,做過兩輪回歸你就會多謝自己。

第二步:讀音準確度測試

呢步係成套測試嘅核心,做法係人耳逐句對照:

  1. 將語料逐句交俾 Agent 生成語音。
  2. 兩位評分人員分開聽(唔要對答案先聽,避免互相影響)。
  3. 每句評三級:過(讀晒全部字同調)、勉強(有小瑕疵但唔誤導)、唔過(讀錯字或者讀錯調致誤導)。
  4. 兩人評分唔一致嘅句,第三裁決或者開會定案。

評分嗰陣特別留意兩樣:聲調對唔對(聲調錯就係字錯)同變調自然唔自然(廣東話好多人有變調讀法,讀得「教科書」都會怪)。攞唔準某個字嘅標準讀音,可以查中文大學粵語審音配詞字庫對照,又或者用粵拼標音做客觀錨點。

評分人員揀人都有講究:最好至少一位係「未參與開發」嘅同事——開發者嘅耳仔已經被自己嘅作品馴化,外人嘅第一耳先係用戶嘅第一耳。

過咗人耳呢關,想再嚴謹啲,可以升級做有系統嘅準確度評測:設計評測集、定評分準則、計準確率,成套方法可以照住粵語 TTS 準確度測試指南嚟行。揀聲線階段嘅試音方法(語料點揀、聽咩位),粵語 TTS 試音方法完整指南都有分開講。

呢步做齊,你手上就有第一份有數字嘅報告:幾多句過、邊類句最弱、弱喺邊個字。呢啲數字就係你同團隊傾「掂唔掂上線」嘅根據。

第三步:延遲量度

延遲唔係一個數,係兩個數:

生成延遲:提交生成任務到任務完成嘅時間。粵語 TTS 行異步模式:POST 提交、攞 job id、輪詢狀態、完成先有音頻。量度方法係喺程式入面記時間戳:提交一刻記一次,任務變 completed 記一次,兩者差就係生成延遲。分段語料(短句、中句、貼近 500 字符上限嘅長句)各量一組,因為長度直接影響時間。

首句延遲:用戶體感嘅真正指標——由提問到聽到第一個字。拆段播放嘅設計下,呢個數可以遠細過「全段生成完成」嘅時間。量法:記用戶提交嗰一刻,再記第一段音頻開播嗰一刻。

兩個數都要分時段量:平時同繁忙時間各跑一輪,負載唔同,數字唔同。測出嚟嘅數字對返產品要求:對話場景首句延遲通常要求最緊,旁白場景就寬鬆好多。冇客觀數字,「有幾快」永遠係各話各說。

記錄延遲嗰陣連埋環境變數一齊記:日期、時段、語料長度、方案。日後想分析「點解嗰陣慢咗」,呢啲背景資料就係線索。順帶一提,你自己嘅輪詢間隔都值得記一筆:間隔設幾耐、平均查詢幾多次先完成,影響嘅係你自己嘅資源調配。

第四步:穩定性同壓力測試

正常跑得通唔算數,要喺壓力之下都企得穩先算數。四套測法:

連續負載測試。 用完整語料連續提交幾百個生成任務,記錄成功率同時間分佈。中途觀察有冇越跑越慢、有冇集中失敗嘅模式。

限流邊界測試。 刻意超過限流,驗證你嘅程式接得住:每把金鑰預設每分鐘 60 個計費請求,超額會回 429 rate_limit_exceeded 並附 Retry-After 秒數——你嘅重試邏輯要真係照住 Retry-After 等,唔係死撞。呢類錯誤處理嘅逐個碼對照,TTS API 錯誤碼對照有全套。

在途上限測試。 並行提交多過方案嘅在途上限(免費 3 個、入門 5 個、專業 10 個、工作室 20 個),驗證會收到 429 in_flight_limit_reached,而且你嘅佇列控制會自動收斂返喺上限之下。

批量路徑測試。 有用批量嘅話,測 25 項滿批、26 項拒批(too_many_items)、同埋一項無效成批拒收(invalid_items)嘅行為,確認程式對「全有或全無」嘅處理正確。

壓力測試嘅產出係一張表:每個測試案例、預期行為、實際行為、過唔過。有呢張表,上線決策就唔使靠「應該冇事」。仲有一個位好易漏:失敗之後嘅恢復路徑。撞限流之後程式係咪會自己回復正常?取消咗嘅任務會唔會留低垃圾狀態?呢啲「跌倒之後企返起身」嘅能力,先係 production 同 demo 嘅分別。

第五步:語氣一致性同回歸測試

語音 Agent 唔止要「讀得啱」,仲要「日日讀得一樣」。兩個測法:

情景語氣測試。 語料加一批情景句——道歉句、確認句、安撫句、催促句——生成之後評語氣係咪夾情景。道歉句讀得興奮、確認句讀得猶豫,就算字都啲都算唔過。有設定情緒或者風格參數嘅,順便驗證參數係咪真係生效:設咗「溫和」出嚟都係硬邦邦,即係設定冇傳到或者冇效果,要查。

回歸測試。 每次語音版本更新、貼稿規則改動、或者聲線更換,就跑返同一套語料,分數同上次比。語音係會變嘅,冇回歸紀錄,劣化係靜靜雞發生,等到用戶投訴先知就遲。回歸測試嘅分數要有版本標記,畫成趨勢先睇得到方向。想將成套評測對標埋其他引擎,粵語 TTS 實測方法一文有公平比較嘅框架。

評分準則同報告

測完五步,最後一步係將結果變成一份可以決策嘅文件。好嘅測試報告有三個特徵:數字有來源(邊套語料、邊日測)、標準有先例(通過線唔會朝定暮改)、同上輪有對比(見到趨勢而唔係單點)。

一個實用嘅報告模板:

維度測咩通過線(示例)
讀音準確語料逐句人耳評分唔過率低過既定門檻
語言混合夾雜句、數字句通過率每類都有紀錄
延遲生成延遲+首句延遲對返產品要求
穩定性負載、限流、在途、批量全部案例行為正確
語氣一致情景語氣評分+回歸趨勢同版本內一致

通過線唔使同別人比,同你自己上一輪比:今次比上次好,係進步;突然跌,就要查。報告入面每個數字都有語料同時間戳支持,先係一份站得住嘅測試報告。

常見問題 FAQ

測試語料要幾多句先夠?

起步每類十句,四類四十句已經有統計意義。上線之後將真實用戶撞到嘅讀音問題回流做語料,庫會越養越準。

讀音測試一定要人耳聽嗎?

現階段人耳係最可靠嘅評分器,尤其係聲調同變調呢啲位。兩位評分員分開聽再加裁決,已經可以將主觀誤差壓得好低。

評分人員要幾多人?

最少兩位分開評,意見相反嗰句交第三人或者小組裁決。其中最好有一位未參與開發嘅同事,佢嘅第一耳最貼近用戶。

延遲測出嚟時快時慢,正常嗎?

正常,生成時間受長度同負載影響。所以要分段語料各量一組,兼分平時同繁忙時段,攞分佈唔係攞單一個數。

壓力測試會唔會影響正式服務?

會,限流測試會食你自己嘅配額同限流窗口。建議喺低峰時段用獨立金鑰跑,並且預先設定月度上限,做完就停。

每個方案嘅在途上限係幾多?

免費 3 個、入門 5 個、專業 10 個、工作室 20 個。壓力測試要驗證嘅就係:超額時收到 429 in_flight_limit_reached,而且程式會自動收斂。

回歸測試幾耐做一次?

每次語音版本更新或者貼稿規則改動之後做一次,加埋定期(例如每月)例行一次。重點係用同一套語料,分數先有得比。

測試報告要包括啲咩?

五個維度各一節:方法、語料版本、結果數字、同上輪比較。有爭議嘅句(兩位評分員意見相反)要留底,方便下次覆核。

一次測試幾多成本?

語音生成照字數計:每分鐘音頻約 240 字符,幾百句短語料反覆測幾輪,一般都喺免費每月 5,000 字符加少量字符包嘅範圍之內。真正嘅成本係評分人員嘅時間,語料精煉過嘅團隊慳好多。

[!CTA]

上線之前,先為你嘅 Agent 訂一份成績表

免費開戶每月有 5,000 字符,由四類高風險語料開始,行通第一輪測試先至推出街。

相關文章