目錄(15 節)
熱線質檢抽樣:抽幾多通、點抽、ASR 錯字點影響評分
二十個客服、每人抽一通,樣本數二十。用這個樣本去講「阿明今個月差過阿珍」,統計上等於拋硬幣。
質檢會議最常見的一句:「今個月抽咗四十通,合格率九成二。」
聽落很科學。但如果你問一句「這個九成二,誤差幾多」,多數人答不出。而誤差正正決定咗這個數字可唔可以用來評人、用來決定培訓、用來說服管理層。
抽樣設計唔係統計學家的專利。它其實只有三條問題:你要答咩、抽幾多才答得到、抽邊幾通才不會偏。
重點摘要
- 抽樣數唔應該由「每人每月一通」決定,應該由「你想分辨幾大差距」決定。要分辨 ±5 個百分點,需要約 385 通;只抽 20 通,誤差約 ±22 個百分點。
- 抽樣誤差係指用樣本推估整體時,必然存在的隨機偏差;它同「評分員手鬆手緊」係兩種唔同的誤差,要分開處理。
- 分層抽樣比純隨機抽樣更適合熱線:按通話類型、時段、客服年資分層,可以用更少樣本得到更穩定的比較。
- ASR 錯字對評分的影響,取決於錯在邊一類評分項:事實欄位極敏感、程序合規中等、語言語氣最低。
- 字錯率(WER)同下游判斷表現唔完全掛鈎 — 公開研究顯示 WER 相若的系統,在實際任務上可以有明顯差異。
一句話答案
先定「你要分辨幾大的差距」,再回推算樣本數;然後按通話類型分層抽;最後按評分項的敏感度,決定邊幾項可以看機器稿、邊幾項必須真人聽。三步都做完,那個「九成二」才有意義。
第一步:你要答邊條問題
同一個月,三條問題需要三種抽樣:
| 問題 | 例子 | 抽樣重點 |
|---|---|---|
| 整體表現如何 | 本月合格率幾多 | 全體隨機抽,夠樣本數即可 |
| 邊個客服要培訓 | 阿明係唔係差過組內平均 | 每人要有獨立樣本,否則無法比較 |
| 邊個流程出問題 | 退款類通話特別多投訴 | 按通話類型分層,容許類型之間樣本不均 |
三條問題嘅樣本需求差距很大。第一條可能 300 通就夠;第二條若果有 20 個客服,每人要 30 通才有基本解析度,總數就變 600 通。第三條反而唔需要大樣本,只需要每類有足夠個案。
所以「抽幾多」唔可以一句答。先寫清楚本月要答邊條。
第二步:抽幾多,用公式算
估計一個比率(例如合格率)所需樣本數,標準式是:
n = z² × p(1−p) ÷ e²
其中 z 是信賴水準對應值(95% 用 1.96)、p 是預期比率、e 是容許誤差。取 p = 0.5(最保守,因為這時候 p(1−p) 最大),代入不同容許誤差:
| 容許誤差 e | 樣本數 n | 意思 |
|---|---|---|
| ±10 個百分點 | 97 | 只能看粗略高低 |
| ±7 個百分點 | 196 | 可以看月度趨勢 |
| ±5 個百分點 | 385 | 常被引用的「標準」 |
| ±3 個百分點 | 1,068 | 適合對外承諾或審計 |
反過來,如果你已經決定抽 20 通,誤差可以由同一條式反算:e = 1.96 × √(0.25 ÷ 20) ≈ 0.219,即 ±21.9 個百分點。用這個樣本講「合格率九成」,真值可能落在 68% 至 100% 之間 — 任何人之間的差異都會被誤差蓋過。
公式同推導可參考標準統計教材的樣本數章節(Sample size determination,2026-10-31 查閱),以及美國國家標準與技術研究院的工程統計手冊(NIST/SEMATECH e-Handbook,2026-10-31 查閱)。你可以自行代入驗算,唔需要信我。
【獨家觀察】 大部分質檢制度真正的問題,唔係樣本太少,係把「樣本太少」的數字當成「個人評核」。合格率 92% 加減 22 個百分點,用嚟看整個中心夠用,用嚟決定一個人加薪就係賭博。同一組數字,用途唔同,要求就唔同。
第三步:點抽,四種分層
分層抽樣係指先把整體切成互不重疊的組(層),再在每層內抽樣。熱線最實用的四種切法:
- 按通話類型。 查詢、投訴、退款、技術支援。投訴類通常只佔一成,但質檢價值最高,所以要在該層加權,然後在匯總時按實際比例還原。
- 按時段。 早班、夜班、週末。夜班人手少、等候時間長,通話表現本來就唔同,混在一起抽會互相抵銷。
- 按客服年資。 新人與三年以上員工的錯誤類型唔同:新人多程序錯,老手多語氣鬆懈。分層之後,培訓才有針對性。
- 按通話長度。 太短(少於 30 秒)多數是轉接或掛線,太長(超過 20 分鐘)多數是複雜個案。兩端都要抽,但唔應該按比例抽。
抽樣執行要用隨機起點:把當月通話按時間排序,用固定間隔(例如每 37 通抽 1 通)加一個隨機起點。這樣做的好處是全程可審計 — 任何人拿着同一份清單都可以重做一次。
第四步:四個偏差陷阱
只抽有客訴的通話。 這是最常見的偏差:投訴個案一定被抽中,於是質檢分數實際量度的是「投訴率」,唔係「服務質素」。
只抽聽得清楚的通話。 錄音質素差的個案被跳過,於是質檢樣本系統性偏向「錄音設備好的時段」。
只抽白天。 夜班、假日、颱風安排等特殊情境永遠唔會被檢視,而這些正正是最容易出錯的情境。
抽完才補。 如果評分員知道某通電話屬於「重點跟進個案」,會不自覺評得更嚴或更鬆。抽樣清單應該在評分前鎖定,事後唔補唔換。
第五步:ASR 錯字,邊幾項評分要人手
把評分表按「對文字準確度的敏感度」分三層,是最實用的做法。評分敏感度係指某一評分項的分數,會因為轉寫錯字而改變的程度。
| 評分項 | 例子 | 敏感度 | 做法 |
|---|---|---|---|
| 事實欄位 | 訂單號、金額、日期、地址、姓名 | 高 | 一律真人對錄音,唔可以用機器稿 |
| 程序合規 | 有無核對身份、有無講免責聲明、有無覆述 | 中 | 可用關鍵詞命中做初篩,命中/唔命中都要抽覆核 |
| 語言與語氣 | 語速、打斷、同理心、用語禮貌 | 低 | 看逐字稿可行,但涉及語氣判斷要聽原音 |
這個分層的好處是:你可以自動化大部分工作量,同時保住最容易被挑戰的部分。反過來,如果全部評分都看機器稿,最常見的後果是「事實欄位評分虛高」— 因為錯字讀落去通順,評分員唔會發現。
公開研究亦提醒一件事:字錯率同下游判斷表現唔完全掛鈎。一項多模態研究比較三種轉寫工具,發現 WER 差異唔能夠好好解釋情感、諷刺等任務的表現差異(WASSA 2021,2026-10-31 查閱)。另一項研究則顯示,語音情緒辨識在 WER 約一成時仍相當穩定,到 WER 約四成才出現接近十個百分點的跌幅(arXiv 2406.08353,2026-10-31 查閱)。
對質檢的實務結論:唔好只用一個總體字錯率去決定「呢份稿可唔可以用」。要問「錯在邊一類詞」。錯在閒聊,可以照用;錯在金額同日期,就要重聽。
第六步:評分校準,三件事
雙評分。 每月抽 10% 樣本由第二位評分員獨立評分,計一致率。一致率低於門檻,唔係換人,係要修評分準則。
校準會議。 每月一次,全體評分員一起聽同三通電話,各自評分再討論差異。這是最有效、最便宜的一致性工具。
定期對外驗證。 每季抽一小批通話做全人工謄寫,與機器稿對照,量度實際字錯率同關鍵欄位命中率。這個數字才是你判斷「機器稿可以信到幾成」的依據。
ISO 18295-1:2017 在客戶接觸中心的品質保證條文中,要求機構對客戶互動設有品質保證安排(ISO 18295-1:2017,2026-10-31 查閱)。它唔會替你定樣本數 — 樣本數要由你的決策需求推出來。
一個月流程,照抄即可
| 時點 | 動作 | 產出 |
|---|---|---|
| 月初 | 鎖定本月要答的問題、定樣本數 | 一頁抽樣計劃 |
| 月中小結 | 按分層抽樣清單抽通話 | 凍結的清單(唔補唔換) |
| 評分週 | 事實欄位真人聽;程序項初篩後覆核 | 評分表+重聽紀錄 |
| 月底 | 雙評分一致率、差異結案 | 一致率報告 |
| 季末 | 全人工謄寫對照,量度字錯率 | 機器稿可信度基線 |
同其他質檢工序嘅分工
如果你要做的是 100% 全量轉寫加合規監察(例如有無講足風險披露),工作唔同,見通話語音分析與質檢。如果你要處理的是電話錄音本身的音質問題(8 kHz、單聲道、等候音樂),見電話錄音轉文字。想先了解字錯率點量、點解同体感唔一致,見廣東話語音轉文字實測。
成本方面,全量轉寫同抽樣人工聽錄音係兩種成本結構,換算方法見AI 客服每通話成本點計。平台層面(粵語支援、時間碼、熱詞、資料落地)一頁對照:粵語 ASR 平台比較。
常見問題
每人每月抽三通,夠唔夠?
看你用來做甚麼。用來發現「制度性問題」,三通乘以二十人已經有六十通,足夠看到模式;用來排名,六十通分給二十人,每人三通,誤差仍然很大。做法上可以「整體看模式、個人只看紅旗個案」。
抽樣要唔要包含最短同最長的通話?
要,但要獨立處理。少於 30 秒多數是轉接或掛線,評分意義有限;超過 20 分鐘多數是複雜個案,應該獨立成一層,唔好與一般查詢混算。
ASR 錯字會唔會令評分員誤判客戶態度?
會,尤其是否定詞與語氣詞。例如「唔係喎」被轉成「係喎」,語氣完全反轉。所以涉及客戶情緒判斷的評分項,建議保留原音片段一併聽。
抽樣清單可唔可以事後補?
唔可以。補樣本會破壞隨機性,而且會引入「知道結果之後才抽」的偏差。要補,就在下一個月補,並在報告註明。
關於呢篇文
本文由港嘢內容團隊整理。樣本數公式採用標準比例估計式,文中數字可自行代入驗算;品質保證要求引 ISO 18295-1:2017;字錯率與下游表現關係引 WASSA 2021 論文及 arXiv 2406.08353。外部連結查閱日期 2026-10-31。本文不構成審計或統計專業意見;對外承諾或監管用途的抽樣設計,請諮詢所屬機構的合規及數據團隊。關於港嘢,見關於港嘢;發現錯漏歡迎聯絡我們。