目錄(26 節)

粵語 TTS 盲測方法:設計一場唔帶偏見嘅試聽比較

由考題文本、匿名樣本到評分量表,逐步教你設計公平嘅粵語 TTS 盲測,擺脫品牌偏見做採購決定。

— 港嘢內容團隊約 11 分鐘粵語 TTS盲測TTS 評測
分享:

一句答你: 盲測嘅核心係「聽嘅人唔知邊段聲嚟自邊個平台」:同一文本生成樣本、匿名編號、隨機排序、粵語母語聽眾用統一量表打分——呢四件事做齊,比較結果先至擺得脫品牌偏見,可以攞嚟做採購決定。

Key Takeaways

  • 偏見係真嘅:知道聲線來源,評分會唔自覺俾品牌印象拉上拉落。
  • 盲測五步:定考題文本 → 統一生成樣本 → 匿名隨機排序 → 母語聽眾打分 → 統計覆核。
  • 樣本要同文本、同格式、同音量,否則你比嘅係包裝,唔係聲音。
  • 評分量表要寫明每個分數嘅定義,唔准評分者各自表述。
  • 分數接近就當打和,用工程配套同成本做最後決定。

兩個平台嘅聲線,你話 A 靚、佢話 B 靚,拗一日都冇結果——因為大家聽嘅時候,帶住唔同嘅期待同印象。盲測就係將「邊段聲屬於邊個」呢個資訊收埋,令耳朵做主。呢篇文逐步教你點樣設計一場粵語 TTS 盲測:由考題文本、樣本規則、評分量表到結果解讀,一套跟住做就得。未接觸過廣東話語音合成嘅讀者,建議先睇廣東話 TTS 完全指南了解基本概念,再返嚟照住個流程行。

點解要盲測:偏見點樣扭曲判斷

品牌印象會幫聲線偷偷加分定減分

人嘅聽覺判斷好容易被非聽覺資訊影響。你知道嗰段聲嚟自一間大公司嘅產品,潛意識會預期佢「應該好嘢」,同樣嘅音質你可能會評高半分;相反,見到一個陌生牌子,同樣質素可能評低咗。舉個例:同一段旁白,你事先被告知係「某國際大牌嘅新引擎」,同埋被告知係「一間初創嘅新產品」,你畀嘅分數好可能唔一樣——明明係同一段聲。介面靚唔靚、定價貴唔貴、朋友點樣講,全部會滲入你嘅「聽後感」。呢啲都同聲音本身無關,但足以令採購決定行歪。呢個唔係話你唔專業,係人腦嘅正常運作;正因如此,先要用程序將呢啲干擾隔走。

「我覺得」同「我聽到」係兩回事

除咗品牌印象,仲有兩個常見干擾:一是順序效應——排在後面聽嘅樣本記得清楚啲,評分自然有着數;二是對比效應——聽完一段特別生硬嘅樣本,跟住嗰段會突然覺得好正,其實兩段都只係普通。盲測配合隨機排序,就係要打散呢啲效應,令每段樣本企喺同一條起跑線,大家憑耳朵同埋同一把尺較量。

盲測之前:三樣準備

第一步:定好考題文本

考題文本決定你測到乜嘢。一份合格嘅粵語盲測文本集起碼涵蓋四類:

  1. 多音字句:考引擎識唔識按語境揀讀音。例如「呢個重箱入面裝住啲重要文件,搬嗰陣唔好咁大力」——一句入面「重」字兩種讀音(形容重量讀 cung5,重要相關讀 zung6)都考到。
  2. 語氣詞句:同一句配唔同句尾語氣詞——「今晚返嚟食飯㗎」「今晚返嚟食飯咩」「今晚返嚟食飯喎」——聽引擎做唔做到唔同語氣,定係全部讀到一樣。
  3. 中英夾雜句:放入你行業真實會用嘅英文字,例如「下星期個 campaign 要交 KPI 報告,麻煩幫我 reset 個 dashboard」,考英文詞讀音同中英銜接。
  4. 長段落:揀一段幾百字、有敘述有數字有問句嘅連續文本,考穩定性。

設計考題嗰陣,可以加入一啲同音字密集嘅句子,考引擎有冇讀錯詞,廣東話同音字完全指南有常用對照表可以借嚟出題。字音有懷疑,就用香港中文大學人文電算研究中心嘅粵語審音配詞字庫核實,務求考題本身企得穩——考題錯咗,成場測試白做。

第二步:統一生成樣本規則

盲測最忌「揀最靚嗰次」:一個平台重複生成十次揀最好嗰段,另一個平台用第一次生成嘅結果,噉樣比嘅唔係引擎,係你嘅耐性。規則要寫死:

  • 每個平台用同一份文本、同類型聲線(例如都係成年女聲或者成年男聲)、相同生成次數。
  • 生成參數按各平台預設值,唔做特殊調校——你要比嘅係「開箱即用」嘅水平。
  • 所有樣本一視同仁,生成咗就用嗰個,唔准事後替換、唔准重新生成篩選。
  • 長段落要統一切法:大家一樣一次過生成成段,或者一樣逐段生成再合併,唔可以一邊偷步。

想知點樣揀語料同設計試聽組合,粵語 TTS 試音方法完整指南有由語料挑選到品質評估嘅完整對應方法。

第三步:樣本標準化

聽眾應該只聽到「聲音嘅分別」,唔係「製作水平嘅分別」。樣本要做到:

  • 格式統一:全部轉做同一種音頻格式、同一取樣率。
  • 音量一致:將所有樣本調到接近嘅響度,避免大聲嗰段無端端佔咗「有精神」嘅便宜。
  • 頭尾剪齊:剪走多餘靜音,開頭即入聲。
  • 匿名化:檔名改做 S01、S02 噉嘅編號,收埋所有平台資訊,連檔案屬性入面可能留低嘅來源痕跡都清埋,唔好俾聽眾無意間睇到。

標準化可以用現成嘅音頻工具做,重點係所有樣本走同一套流程——要剪就全部剪,要調響度就全部調,唔可以淨係執靚其中一邊,否則又係另一種唔公平。

盲測步驟:逐步流程

步驟一:匿名編號同隨機排序

將所有樣本混合洗牌,排出一個隨機次序,並且記低「編號對應邊個平台」嘅底稿——呢份底稿只有統計結果嘅人可以先睇,聽眾唔准掂。如果有多場測試,每場重新洗牌一次,避免次序記憶影響重測。底稿同樣本檔案要分開存放,揭盅前貼出嚟嘅任何材料都要再檢查一次有冇漏網嘅平台資訊。時間安排上,聽評最好集中喺一至兩日內完成,而且所有聽眾用同一批耳機、喺同樣安靜嘅環境聽——唔好一半人用電話喇叭、一半人用監聽耳機,噉樣嘅分數夾埋一齊冇意義。

步驟二:設計評分量表

用一個定義清晰嘅五分制,事前寫低每級意思,例如:

分數定義
5自然度好高,好接近母語講嘢,好難聽出機器痕跡
4大體自然,細節有少少生硬
3明顯聽得出係合成,但唔算難聽
2生硬或者有錯音,已經影響理解
1大量錯音或者極不自然,無法接受

量表用咩維度都好,重點係所有聽眾用同一把尺。記錄錯音嗰陣,用粵拼標記最精確——邊個字、讀成咩音,一目了然;唔熟粵拼可以睇粵拼 Jyutping 入門快速上手。

步驟三:招募聽眾

聽眾質素決定結果質素,三個基本要求:

  • 粵語母語:非母語耳朵對九聲六調同語氣詞嘅敏感度低好多,錯音都未必聽得出,評分會失真。
  • 背景多元:盡量涵蓋唔同年齡層同職業——後生同事同資深同事嘅口味可以差好遠,成組人都係同一種背景,結果只代表嗰一種人。
  • 人數合理:人越多統計越穩,但成本亦越高;小團隊由三四位開始,已經好過得一個人意見。

步驟四:正式聽評

聽評安排唔少得呢幾樣:每段樣本可以重聽,但要有時間上限,避免無限循環;每聽若干段就小休一次,避免疲勞令後段樣本全線被評低;聽眾各自獨立評分,期間唔准交流意見。開場之前,先俾聽眾聽一兩段唔計分嘅熱身樣本,等佢哋熟習流程同量表。正式樣本之中,仲可以預先插入一兩段重複樣本——同一個檔案出現兩次——用嚟檢查評分者前後一致唔一致:同一個人對同一段聲前後畀分差太遠,佢嗰批評分就要小心處理。評分模式可以揀逐段獨立評(每段單獨打分),或者成對比較(兩段直接比高下)——前者省時,後者對「邊個好啲」呢條問題更銳利,小規模盲測用成對比較幾常見。

步驟五:結果統計同覆核

收齊評分之後:先計每個平台嘅平均分同中位數,再睇分歧位——某段樣本有人畀五分有人畀兩分,就要拉出嚟覆聽,確認係樣本問題定係評分者口味問題。穩陣做法係隔幾日做一次小規模覆聽,重點樣本重評一次,兩輪結果大致吻合先當數。公平比較唔同語音模型嘅完整方法論,可以再參考粵語 TTS 點樣公平比較一文補完,由測試設計到指標揀選都有對應講法。

結果點樣解讀同落地

分數接近就當打和

如果兩個平台平均分只差零點幾,而各聽眾嘅分數範圍互相重疊,老實嘅講法係「今次測唔出分別」——唔好硬拆高下。呢個時候,決定權應該交返俾第二層準則:API 配套齊唔齊、字幕輸出有冇、批量生成方便唔方便、價錢邊個計得過。聲音打和,工程同成本先係分勝負嘅位;呢啲位先至長遠影響你每日嘅製作流程。

由結果到決定文件

盲測結果要連同埋重要背景一齊存檔:考題文本版本、樣本生成日期、聽眾背景、評分量表定義、揭盅後嘅編號對照。幾個月後平台更新,你可以用同一套嘢重測一次,睇排名有冇變。冇呢份文件,隔咗一排你只會記得「上次好似係 A 贏」,但講唔出憑乜、邊段贏、贏幾多,到時想翻案都無從入手。

常見盲測陷阱

  • 樣本太少:每個平台淨係測一段,一句好聽唔代表所有文本都好,最少都要四類考題各有代表。
  • 只測一把聲:平台有幾十把聲,你淨係測佢最招牌嗰把;記住要測嘅係你實際會用嘅聲線類型,唔係平台嘅門面。
  • 聽眾唔係粵語母語:聽唔出錯音同語氣問題,評分變咗裝飾品。
  • 一次過聽晒:疲勞會令後段樣本被系統性評低,記得分段小休。
  • 樣本唔齊頭:一邊有修音一邊冇、一邊聲線貼題一邊唔貼,比咗等於冇比。
  • 評完即揭盅:評分者一知道答案,覆聽嗰陣就會不自覺靠攏品牌印象,底稿要一直收埋到統計完成。

常見問題 FAQ

盲測要幾多位聽眾先有意義?

冇死數,但少過三位就基本係聽口味唔係聽質素。小團隊由三四位母語聽眾開始已經有基本把關作用;要對外發表嘅比較,人數同埋樣本量就要相應加大,結論先至站得住。另外,聽眾最好事前唔知道你個人偏好邊個平台,免得連盲測都被人帶節奏。

一段文本要生成幾多個樣本?

每個平台、每類考題至少一段,四類考題即係每個平台起碼四至五段(長段落計一段)。樣本總數唔好多到聽眾疲勞,寧願分兩場進行,都唔好迫人一次過聽幾十段。

淨係自己一個人可以做盲測嗎?

可以打個折做「自我盲測」:將樣本匿名洗牌,隔開幾日至聽,聽嗰陣唔睇來源。雖然自己對自己始終有記憶干擾,但好過完全無章法噉樣隨便聽兩句就落判斷。正式採購決定,最好都係搵多幾對母語耳朵幫手。

評分用五分制定十分制?

重點唔係幾多分,係定義清唔清。五分制好處係每級定義容易寫清楚,聽眾易掌握;分制越細,評分者越容易各自解讀,統計出嚟嘅分歧會虛大。小規模盲測用五分制加埋書面定義,已經夠用。

盲測同一般試音有咩分別?

一般試音係開放式嘅初步篩選,求快求直覺,用嚟淘汰明顯唔合格嘅選項;盲測係正式比較,講程序公平,結果可以攞嚟做採購依據。實務次序係先試音篩剩兩三個入圍,再盲測分高下,唔使一開波就大陣仗。

聽眾意見極端相反點處理?

首先覆聽有分歧嘅樣本,確認大家聽嘅係同一段嘢、評嘅係同一個維度。如果純粹係口味分別——有人鍾意沉穩有人鍾意活潑——噉就唔係邊個啱邊個錯,而係應該將「聲線風格契合度」變成獨立維度,按你嘅受眾定位去加權,唔好混喺「自然度」入面計。

樣本可以剪輯修音之後先比嗎?

唔可以。盲測要比較嘅係平台生成嘅原聲,一經剪輯調音,你比嘅已經係後期製作水平,唔係引擎水平。所有樣本除咗格式同音量標準化之外,唔准有任何美化處理,否則結果對唔修音嘅用例冇參考價值。

[!CTA]

生成你嘅盲測樣本

喺港嘢 Playground 逐段生成匿名樣本,開戶即有每月 5,000 字符免費額度(約 21 分鐘語音),編號洗牌即刻開評。

相關文章