目錄(29 節)

TTS 監控指標:粵語語音服務要睇咩數,由品質到成本嘅完整指標系統

TTS 服務上線之後要睇乜數:品質指標(錯音、投訴)、用量指標(字符、快取命中率)、成本指標(每則訊息成本)——本篇畀你一套完整指標系統同審查節奏。

— 港嘢內容團隊約 10 分鐘TTS 監控指標營運
分享:

一句答你: 粵語語音服務上線後要睇三層數:品質層(錯音回報、重聽率)、用量層(字符用量、生成量、快取命中率)、成本層(每則訊息成本)——三層各有底線同審查節奏,睇住數行,先至唔會「出事先知」。

Key Takeaways

  • 品質唔係「聽落幾好」,係可數嘅位:錯音回報次數、重聽率、播出失敗次數——每個都要有記錄渠道。
  • 喺粵語場景,錯音係最貴嘅品質事故:一個字讀錯,用戶聽到嘅係「呢間機構唔專業」。
  • 用量層睇三條線:字符總量、生成次數、快取命中率——命中率一跌,通常係快取治理鬆咗。
  • 成本層嘅核心係「每則訊息成本」:總字符除以播出次數,服務規模化嘅底線位。
  • 每月定期審查+異常即時告警:品質指標按週睇、成本指標按月睇,唔使日日盯。
  • 聽感嘅抽核唔可以由指標取代:每月撥固定時段,由頭到尾播一次樣本,人耳做最後一關。

監控點解唔係可選項

無監控嘅服務,係閉眼行車

粵語語音服務上線之後,好多團隊嘅狀態係「冇人話有問題,就當冇問題」——呢個係閉眼行車。品質問題(錯音、怪斷句、播放失敗)唔會自己上報;用量異常(字符暴增、快取失效)唔會自己敲門;成本漂移(每則訊息成本月月升)要等到預算爆先被發現。監控嘅作用唔係「做畀老闆睇嘅儀表板」,係令服務問題喺變成事故之前被看到。

監控亦唔使一開始就大系統:一套指標、一個共享表格、一個審查節奏,已經覆蓋八成風險。由簡做起,指標先至會真的被用;堆滿儀表板但冇人睇嘅監控,係最常見嘅失敗形態。

粵語場景嘅特殊風險位

粵語監控有一個場景特化位:錯音。粵語九聲六調,同音字、多音字、變調位特別多,一個字讀錯,意思可以完全唔同。所以粵語服務嘅品質指標,錯音回報要排第一——呢個係粵語場景同一般 TTS 監控最大嘅唔同。底層嘅防線(對照字典、試聽流程)可以睇廣東話 TTS 完全指南;本篇講上線之後嘅持續監控。

品質層指標

錯音回報:一條暢通嘅申報路

錯音回報嘅關鍵唔係指標本身,係申報渠道:第一線同事(客服、店務、熱線值生)要有一個最簡單嘅回報方式——一個表格、一個群組都得,一句「邊條訊息、邊個字、聽成咩」就夠。回報之後要有處理規距:記錄、確認、修訂稿寫法(例如改同音替代或加標點)、重生成、核聽、回替換。全程以日計,唔好積。

錯音嘅根因多半喺稿寫法,唔係引擎隨機:多音字冇提示、外語名冇統一寫法、數字冇寫明讀法。所以錯音回報修好之後,要將修法收錄入「錯音詞庫」式嘅內部清單,令下次寫稿預先避坑——呢個係品質指標轉化為制度改善嘅關鍵一步。錯音治理嘅方法論可以睇廣東話 TTS 錯音檢查指南。

重聽率同播出失敗

重聽率(用戶要求重播、按重聽掣嘅比例)係聽感嘅間接訊號:一段播報如果重聽率特別高,多半係節奏、語速或者用詞有問題——用戶聽唔明,先至要擰返轉頭再聽。播出失敗(檔案缺失、連結過期、播放器錯誤)就係純技術指標,目標係零;任何一次失敗都要有記錄同根因。呢兩條線合埋,就係「用戶側聽得到的品質」嘅基本盤。

聽感抽核:人耳做最後一關

指標之外,每月一次聽感抽核:由預錄庫同近期生成隨機抽一撮(例如二十條),由頭到尾播一次,聽四樣——咬字、節奏、中英夾雜位、聲線一致。人耳最擅長發現「數字看不出嘅怪」,呢個工序唔可以用數據取代。抽核結果記錄低,同上月對照;連續兩個月有同類問題,就要返去稿寫規距層修根因,唔係逐條打補丁。

指標唔取代試聽:兩層都要有

有個常見誤區係「裝咗監控就唔使逐條聽」。指標看嘅係「量」——錯音次數、命中率、成本;聽感嘅「質」——節奏自不自然、語氣啱唔啱場景、中英夾雜位順不順耳——係數字講唔到。所以兩層要並行:指標層由記錄同審查節奏行,聽感層由每月抽核做最後一關。兩層之間仲有訊號互補:重聽率突然升,往往先喺指標層顯示,然後人耳抽核先搵到「聽唔明」嘅根因——一層發現、另一層定性,先至係完整嘅監控閉環。

樣本抽核嘅方法位

每月抽核要行得公道,樣本要「隨機+覆蓋」:唔單止抽最常用嗰幾條(佢哋熟練度高、問題早被發現),要連冷門位一齊抽——冷門預錄出問題最耐先被發現,係品質投訴嘅高發位。抽核時行「生成日期」排列:新舊版本都抽到,先至聽得出「聽感隨時間漂移」——引擎版本同配置隨時間會有微調,人耳定期對照先至捉得住。抽核記錄保留,連續同類問題就返規距層修。

用量層指標

三條核心線

  • 字符總量:每月生成用咗幾多字符,對照方案額度,睇餘量比率。
  • 生成次數:生成幾多次、每次平均幾多大——次數暴增多係有新用途上線或者重試風暴。
  • 快取命中率:播出之中,幾多係快取檔、幾多係新生成——命中率一跌,通常係快取治理鬆咗或者內容策略變咗。

三條線要連埋睇:字符總量升、但命中率維持,係業務自然增長;字符升、命中率同步跌,係快取層有管治問題。睇單一線好易誤讀,三線齊睇先至有判讀力。快取治理同命中率的關係,可以睇快取策略指南。

方案餘量告警

用量層要有一條簡單告警線:月度字符餘量低過兩成就觸發檢查——係用量真係升咗(要升方案或者買字符包,字符包 HK$50 起、四檔同價每千字符 HK$0.80),定係有異常重試同濫生成(要返去修生成邏輯)。兩種情況嘅處理完全唔同,告警線嘅價值就係逼你早三星期分清楚,唔使月尾臨急措手唔切。

告警唔要濫發

監控另一個失敗模式係告警轟炸:幾十條規則日日響,同事全面疲勞之後,真異常都當冇事。收法係「少而真」:告警線只放會令服務受傷嘅位——錯音回報異常(品質事故)、播出失敗(直接用戶故障)、月度餘量低於兩成(成本風險)。其餘嘅位由審查節奏慢慢睇,唔使即時響。每一條告警都要有人有明確跟法(邊個位、幾耐內跟),響咗冇人跟嘅告警,比冇告警更傷——它教識全組人「告警可以不用理」。告警設計嘅原則同指標一樣:寧缺勿濫,先至有效。

成本層指標

每則訊息成本:核心底線

成本層嘅核心數係每則訊息成本:月度總字符除以月度播出次數,再按方案單價折算(月繳每千字符:入門 HK$0.64、專業 HK$0.5633、工作室 HK$0.4914;年繳再低啲——入門平均每月 HK$102、專業 HK$270、工作室 HK$550)。呢條數係服務規模化嘅底線位:每則訊息成本穩定或者徐徐落,係健康的;單月急升,就係效率出咗事(快取失效、重試暴增、模板鬆散)。

方案月費字符額度月繳每千字符
免費HK$0每月 5,000—
入門HK$128200,000HK$0.64
專業HK$338600,000HK$0.5633
工作室HK$6881,400,000HK$0.4914

轉化位:量變時應該升邊級

成本層仲要回答一條問題:幾時應該上高一級方案?通用判準係「月度用量連續三個月超出現方案額度七成」或者「額度內但每則成本因改稿重生成比例升高」——前者係升額度、後者係修效率,先修效率、後升方案,次序唔好倒轉。成本核算嘅通用算法可以睇粵語 TTS API 成本計算。量變的判斷唔使日日做,按月審查時一齊行,三個月連續超線先行動,避免被單月季節性誤導。

審查節奏同異常處理

三個節奏:週、月、季

  • 每週(五分鐘掃一次):錯音回報數、播出失敗數——兩者任何異常即日跟。
  • 每月(半個鐘正式審查):字符用量、命中率、每則訊息成本、方案餘量——對照上月,記錄判讀。
  • 每季(一小時深度):聽感抽核、錯音詞庫更新、快取庫核聽——品質嘅長期線。

呢個節奏嘅成本極低(每月合共唔夠一個鐘),但係令問題喺「可以平咗解決」嘅階段被發現。監控嘅真正設計原則唔係「越多指標越好」,係「每個指標都有人看、有人跟、有規距處理」——三個節奏就係「有人跟」嘅制度化。

異常處理流程:由發現到修根因

異常處理分三步:先「止血」(換用最後可用版本、或者暫停相關播出)、再「定性」(品質、用量定成本異常?技術錯誤定稿寫問題?)、最後「修根因」(稿寫規距、快取治理、預算閘——邊層漏洞修邊層)。每次異常記錄低三樣:根因、修法、防止復發位。三次異常之後翻睇記錄,你會發現大部分問題集中在兩三個根因——呢個發現就係監控系統最值錢嘅產出:令你知道下一步要喺邊度投資。

由零開始嘅監控起步單

第一個月:開一個共享表格,立五條基線——錯音回報、播出失敗、月度字符、快取命中率、每則訊息成本。第二個月:行第一個月審查,對照基線,記錄異常與否。第三個月:行第一次季審,加聽感抽核同詞庫更新。三個月之後,你就有自己服務嘅「正常範圍」——監控嘅意義由「有沒有數」變成「數對唔對勁」。起步監控唔使完美:有數可比、有人看、有處理規距,呢三樣齊,就已經跑贏絕大多數「冇監控」嘅同類服務。

常見問題 FAQ

監控要幾多人手?

以一個中型服務為例:每週五分鐘掃異常、每月半個鐘正式審查、每季一個鐘深度審——每月合共唔夠一個鐘。監控數據多數可以由生成記錄同播出記錄直接整理,唔使另起系統;共享表格加審查節奏,係最務實嘅起點。

錯音回報點設最有效?

由第一線同事出發:回報方式要最簡單(一個表格或群組),欄位就三個——邊條訊息、邊個字、聽成咩。回報文化比回報工具重要:同事話「講咗都冇人理」就冇下文,唔使一個月條路就斷;處理規距以日計、修好有回音,條路先至行得長。錯音治理嘅深入方法可以睇錯音檢查指南。

快取命中率幾多先算健康?

冇通用答案,睇內容構成:以固定提示為主嘅服務(熱線、店內廣播)應該高;以動態答案為主嘅服務(個人化查詢)天然低。重點唔係絕對數,係趨勢:連續兩三個月下跌就要查快取治理;突然急跌通常係新內容大量繞過快取上線,要判斷係業務增長定治理失誤。

每則訊息成本點算?

月度總字符除以月度播出次數,再乘方案每千字符單價(月繳:入門 HK$0.64/專業 HK$0.5633/工作室 HK$0.4914)。例如月度 60,000 字符、播出 20,000 次,入門方案每則成本約 HK$0.038——同一條服務嘅這條數,月對月、季對季睇趨勢。

應該幾時升方案?

通用判準:月度用量連續三個月超出現方案額度七成,先至考慮升級;而且先修效率(快取、模板、重試)、後升方案,次序唔好倒轉。單月高峰可以先用字符包(HK$50 起、每千字符 HK$0.80)補位,唔使為季節性高峰全年升級。

質素問題點樣分係稿問題定系統問題?

好簡單嘅分法:同一份稿,換唔同聲線或者重新生成一次——問題跟稿走(任何聲線都錯同一個位)就係稿寫法問題;問題只出現在一次生成(另一版無錯)就係偶發品質,重生成一次通常解決。稿寫法問題要返規距層修(詞庫、寫法統一),偶發問題靠重生成兜底。

生成失敗同播出失敗要點跟?

兩個唔同層:生成失敗(提交或者生成位出錯)看錯誤原因同重試規距;播出失敗(檔案缺失、連結過期)看檔案管理同時效管理。播出失敗目標係零,因為它是用戶直感到的失敗;任何一次都值得記錄根因。誤碼語義同重試的通用規則,可以參考API 錯誤碼指南。

[!CTA]

開戶由五條基線開始監察你嘅語音服務

每月 5,000 字符額度試聽感、定基線;上線之後,每月一個鐘嘅審查節奏令服務行住都有底。