目錄(15 節)

熱線質檢抽樣:抽幾多通、點抽、ASR 錯字點影響評分

二十個客服、每人抽一通,樣本數二十。用這個樣本去講「阿明今個月差過阿珍」,統計上等於拋硬幣。

分享:

質檢會議最常見的一句:「今個月抽咗四十通,合格率九成二。」

聽落很科學。但如果你問一句「這個九成二,誤差幾多」,多數人答不出。而誤差正正決定咗這個數字可唔可以用來評人、用來決定培訓、用來說服管理層。

抽樣設計唔係統計學家的專利。它其實只有三條問題:你要答咩、抽幾多才答得到、抽邊幾通才不會偏。

重點摘要

  • 抽樣數唔應該由「每人每月一通」決定,應該由「你想分辨幾大差距」決定。要分辨 ±5 個百分點,需要約 385 通;只抽 20 通,誤差約 ±22 個百分點。
  • 抽樣誤差係指用樣本推估整體時,必然存在的隨機偏差;它同「評分員手鬆手緊」係兩種唔同的誤差,要分開處理。
  • 分層抽樣比純隨機抽樣更適合熱線:按通話類型、時段、客服年資分層,可以用更少樣本得到更穩定的比較。
  • ASR 錯字對評分的影響,取決於錯在邊一類評分項:事實欄位極敏感、程序合規中等、語言語氣最低。
  • 字錯率(WER)同下游判斷表現唔完全掛鈎 — 公開研究顯示 WER 相若的系統,在實際任務上可以有明顯差異。

一句話答案

先定「你要分辨幾大的差距」,再回推算樣本數;然後按通話類型分層抽;最後按評分項的敏感度,決定邊幾項可以看機器稿、邊幾項必須真人聽。三步都做完,那個「九成二」才有意義。

第一步:你要答邊條問題

同一個月,三條問題需要三種抽樣:

問題例子抽樣重點
整體表現如何本月合格率幾多全體隨機抽,夠樣本數即可
邊個客服要培訓阿明係唔係差過組內平均每人要有獨立樣本,否則無法比較
邊個流程出問題退款類通話特別多投訴按通話類型分層,容許類型之間樣本不均

三條問題嘅樣本需求差距很大。第一條可能 300 通就夠;第二條若果有 20 個客服,每人要 30 通才有基本解析度,總數就變 600 通。第三條反而唔需要大樣本,只需要每類有足夠個案。

所以「抽幾多」唔可以一句答。先寫清楚本月要答邊條。

第二步:抽幾多,用公式算

估計一個比率(例如合格率)所需樣本數,標準式是:

n = z² × p(1−p) ÷ e²

其中 z 是信賴水準對應值(95% 用 1.96)、p 是預期比率、e 是容許誤差。取 p = 0.5(最保守,因為這時候 p(1−p) 最大),代入不同容許誤差:

容許誤差 e樣本數 n意思
±10 個百分點97只能看粗略高低
±7 個百分點196可以看月度趨勢
±5 個百分點385常被引用的「標準」
±3 個百分點1,068適合對外承諾或審計

反過來,如果你已經決定抽 20 通,誤差可以由同一條式反算:e = 1.96 × √(0.25 ÷ 20) ≈ 0.219,即 ±21.9 個百分點。用這個樣本講「合格率九成」,真值可能落在 68% 至 100% 之間 — 任何人之間的差異都會被誤差蓋過。

公式同推導可參考標準統計教材的樣本數章節(Sample size determination,2026-10-31 查閱),以及美國國家標準與技術研究院的工程統計手冊(NIST/SEMATECH e-Handbook,2026-10-31 查閱)。你可以自行代入驗算,唔需要信我。

【獨家觀察】 大部分質檢制度真正的問題,唔係樣本太少,係把「樣本太少」的數字當成「個人評核」。合格率 92% 加減 22 個百分點,用嚟看整個中心夠用,用嚟決定一個人加薪就係賭博。同一組數字,用途唔同,要求就唔同。

第三步:點抽,四種分層

分層抽樣係指先把整體切成互不重疊的組(層),再在每層內抽樣。熱線最實用的四種切法:

  1. 按通話類型。 查詢、投訴、退款、技術支援。投訴類通常只佔一成,但質檢價值最高,所以要在該層加權,然後在匯總時按實際比例還原。
  2. 按時段。 早班、夜班、週末。夜班人手少、等候時間長,通話表現本來就唔同,混在一起抽會互相抵銷。
  3. 按客服年資。 新人與三年以上員工的錯誤類型唔同:新人多程序錯,老手多語氣鬆懈。分層之後,培訓才有針對性。
  4. 按通話長度。 太短(少於 30 秒)多數是轉接或掛線,太長(超過 20 分鐘)多數是複雜個案。兩端都要抽,但唔應該按比例抽。

抽樣執行要用隨機起點:把當月通話按時間排序,用固定間隔(例如每 37 通抽 1 通)加一個隨機起點。這樣做的好處是全程可審計 — 任何人拿着同一份清單都可以重做一次。

第四步:四個偏差陷阱

只抽有客訴的通話。 這是最常見的偏差:投訴個案一定被抽中,於是質檢分數實際量度的是「投訴率」,唔係「服務質素」。

只抽聽得清楚的通話。 錄音質素差的個案被跳過,於是質檢樣本系統性偏向「錄音設備好的時段」。

只抽白天。 夜班、假日、颱風安排等特殊情境永遠唔會被檢視,而這些正正是最容易出錯的情境。

抽完才補。 如果評分員知道某通電話屬於「重點跟進個案」,會不自覺評得更嚴或更鬆。抽樣清單應該在評分前鎖定,事後唔補唔換。

第五步:ASR 錯字,邊幾項評分要人手

把評分表按「對文字準確度的敏感度」分三層,是最實用的做法。評分敏感度係指某一評分項的分數,會因為轉寫錯字而改變的程度。

評分項例子敏感度做法
事實欄位訂單號、金額、日期、地址、姓名高一律真人對錄音,唔可以用機器稿
程序合規有無核對身份、有無講免責聲明、有無覆述中可用關鍵詞命中做初篩,命中/唔命中都要抽覆核
語言與語氣語速、打斷、同理心、用語禮貌低看逐字稿可行,但涉及語氣判斷要聽原音

這個分層的好處是:你可以自動化大部分工作量,同時保住最容易被挑戰的部分。反過來,如果全部評分都看機器稿,最常見的後果是「事實欄位評分虛高」— 因為錯字讀落去通順,評分員唔會發現。

公開研究亦提醒一件事:字錯率同下游判斷表現唔完全掛鈎。一項多模態研究比較三種轉寫工具,發現 WER 差異唔能夠好好解釋情感、諷刺等任務的表現差異(WASSA 2021,2026-10-31 查閱)。另一項研究則顯示,語音情緒辨識在 WER 約一成時仍相當穩定,到 WER 約四成才出現接近十個百分點的跌幅(arXiv 2406.08353,2026-10-31 查閱)。

對質檢的實務結論:唔好只用一個總體字錯率去決定「呢份稿可唔可以用」。要問「錯在邊一類詞」。錯在閒聊,可以照用;錯在金額同日期,就要重聽。

第六步:評分校準,三件事

雙評分。 每月抽 10% 樣本由第二位評分員獨立評分,計一致率。一致率低於門檻,唔係換人,係要修評分準則。

校準會議。 每月一次,全體評分員一起聽同三通電話,各自評分再討論差異。這是最有效、最便宜的一致性工具。

定期對外驗證。 每季抽一小批通話做全人工謄寫,與機器稿對照,量度實際字錯率同關鍵欄位命中率。這個數字才是你判斷「機器稿可以信到幾成」的依據。

ISO 18295-1:2017 在客戶接觸中心的品質保證條文中,要求機構對客戶互動設有品質保證安排(ISO 18295-1:2017,2026-10-31 查閱)。它唔會替你定樣本數 — 樣本數要由你的決策需求推出來。

一個月流程,照抄即可

時點動作產出
月初鎖定本月要答的問題、定樣本數一頁抽樣計劃
月中小結按分層抽樣清單抽通話凍結的清單(唔補唔換)
評分週事實欄位真人聽;程序項初篩後覆核評分表+重聽紀錄
月底雙評分一致率、差異結案一致率報告
季末全人工謄寫對照,量度字錯率機器稿可信度基線

同其他質檢工序嘅分工

如果你要做的是 100% 全量轉寫加合規監察(例如有無講足風險披露),工作唔同,見通話語音分析與質檢。如果你要處理的是電話錄音本身的音質問題(8 kHz、單聲道、等候音樂),見電話錄音轉文字。想先了解字錯率點量、點解同体感唔一致,見廣東話語音轉文字實測。

成本方面,全量轉寫同抽樣人工聽錄音係兩種成本結構,換算方法見AI 客服每通話成本點計。平台層面(粵語支援、時間碼、熱詞、資料落地)一頁對照:粵語 ASR 平台比較。

常見問題

每人每月抽三通,夠唔夠?

看你用來做甚麼。用來發現「制度性問題」,三通乘以二十人已經有六十通,足夠看到模式;用來排名,六十通分給二十人,每人三通,誤差仍然很大。做法上可以「整體看模式、個人只看紅旗個案」。

抽樣要唔要包含最短同最長的通話?

要,但要獨立處理。少於 30 秒多數是轉接或掛線,評分意義有限;超過 20 分鐘多數是複雜個案,應該獨立成一層,唔好與一般查詢混算。

ASR 錯字會唔會令評分員誤判客戶態度?

會,尤其是否定詞與語氣詞。例如「唔係喎」被轉成「係喎」,語氣完全反轉。所以涉及客戶情緒判斷的評分項,建議保留原音片段一併聽。

抽樣清單可唔可以事後補?

唔可以。補樣本會破壞隨機性,而且會引入「知道結果之後才抽」的偏差。要補,就在下一個月補,並在報告註明。

關於呢篇文

本文由港嘢內容團隊整理。樣本數公式採用標準比例估計式,文中數字可自行代入驗算;品質保證要求引 ISO 18295-1:2017;字錯率與下游表現關係引 WASSA 2021 論文及 arXiv 2406.08353。外部連結查閱日期 2026-10-31。本文不構成審計或統計專業意見;對外承諾或監管用途的抽樣設計,請諮詢所屬機構的合規及數據團隊。關於港嘢,見關於港嘢;發現錯漏歡迎聯絡我們。

相關文章