語音技術

轉寫幻覺

ASR hallucination

定義

語音轉文字輸出了錄音中根本不存在的內容——憑空補充、改寫或重複，而不是聽錯。

點計

量法：抽一段錄音逐句對照人手逐字稿，把「有聲但輸出無關內容」「無聲卻有輸出」「同一句重複循環」三類幻覺各數一次，除以總句數。

幻覺與字錯率是兩回事：字錯率數「聽錯」的替換、刪除、插入，幻覺數「無中生有」。一段輸出可以字錯率極低，但整段是幻覺——所以兩個指標要分開驗。

健康區間

沒有公開基準，而且幻覺不是越少越好的線性問題：一句憑空捏造的藥物名稱，比十個聽錯的字更傷；重點是高風險內容做到無幻覺。

怎樣自己量 baseline： 自己量：刻意準備「邊緣錄音」測試集——長靜音、音樂、方言、極細聲——配上人手標準答案逐句檢查有無無中生有；固定這份集，每次換引擎或版本都重跑。

4 個改進手段

  1. 用邊緣輸入做測試，而不是乾淨樣本：長靜音、背景音樂、細聲說話是幻覺高發位。
  2. 輸出附信心度，低信心句子標出來給人複核；對與錄音主題無關的句子設自動警示。
  3. 下游拿逐字稿做摘要或行動項時保留原文對照，令幻覺在下游被發現而不是被放大。
  4. 發現幻覺後記錄觸發特徵（靜音長度、樂曲類型），累積成自己的高風險清單。

相關文章

資料來源

相關術語

返回術語表廣東話 ASR 比較廣東話語音轉文字