目錄(42 節)

語音合成原理入門:TTS 點樣將字變聲

文字轉語音(TTS)點樣將一行字變成一把人聲?拆解文字前端、聲學模型、聲碼器三大階段,同粵語場景嘅特別難位。

— 港嘢內容團隊約 10 分鐘tts語言學入門
分享:

一句答你:TTS 將文字變語音,行嘅係三大階段——文字前端(搞清楚每個字點讀)、聲學模型(計出呢句嘢應該咩聲)、聲碼器(將聲學訊號變成真正嘅音頻波形)。粵語特別難,因為九聲六調、多音字、懶音、中英夾雜樣樣都係陷阱。

你貼一段字入去,幾秒之後出嚟一把講廣東話嘅聲——呢個過程入面發生咗咩事?唔識原理,你會覺得係魔術;識咗原理,你會明點解同一句稿喺唔同平台出嚟品質可以差十萬八千里,仲會知揀平台嗰陣要聽啲乜、遇到讀音問題應該由邊度入手。呢篇用普通人嘅語言拆解成個流程,唔使工程背景都睇得明。

Key Takeaways

  • TTS 三大階段:文字前端(決定讀咩)、聲學模型(決定咩聲)、聲碼器(變成波形)
  • 文字前端最難嘅位係「消歧」:多音字、數字、符號、縮寫,全部要靠上文下細判斷點讀
  • 粵語有九聲六調加三套入聲,聲調錯一個,字就變咗另一個字——識錯聲即係識錯字
  • 懶音(n/l 不分、ng 頭脫落)同中英夾雜係香港日常,TTS 要學識「自然嘅唔標準」
  • 長文後半段走樣(語調越嚟越平)係穩定性問題,同單句質素係兩回事
  • 平台品質差異嘅根源:訓練資料入面粵語佔幾多、係咪粵語專門優化

三大階段:由文字到聲音

第一階段:文字前端(搞清楚每個字點讀)

你俾佢嘅係「字」,佢要出嘅係「音」。呢一步要做嘅嘢多得嚇你一跳:數字要展開(「3,000」讀「三千」、「15/10」讀「十月十五號」還是「十五比十」?睇上文)、縮寫要解碼(「HK$」讀「港幣」)、符號要處理(「&」讀「同」定「和」)、多音字要消歧(「重量」定「重新」?)。呢個階段叫做正規化加讀音轉換,係成個系統嘅地基——地基錯,後面嘅聲音幾靚都係讀錯字。

第二階段:聲學模型(計出聲音應該係咩樣)

知道咗每個字嘅讀音之後,模型要計出「呢句嘢聽落應該係點」:每個音節幾長、音高點變、邊度停頓、語氣係平定起伏。呢啲資訊會變成一系列隨時間變化嘅聲學特徵。現代嘅神經網絡模型直接由文字端到端學出呢啲特徵,訓練資料入面真人語音越多、越多樣,模型嘅「語感」就越好。

第三階段:聲碼器(特徵變波形)

最後一步係將聲學特徵變成真正嘅音頻波形——即係可以播出嚟嘅聲。聲碼器嘅質素決定音頻「乾唔乾淨」:差嘅聲碼器會有金屬聲、水聲、雜音。呢個階段技術上已經相當成熟,現代系統入面,你聽到嘅「機械味」多數唔係聲碼器嘅問題,而係上一階段嘅語感問題。

粵語特別難嘅五個位

九聲六調:聲調就係字本身

普通話四聲,粵語九聲六調——六個基本調值加三套短促嘅入聲。關鍵在於:粵語嘅聲調唔止係語氣,係字義本身。「詩、史、試」係三個字,「絲、市、時」又係三個字。TTS 讀粵語,聲調出錯等於讀錯字,冇得靠聽眾腦補。呢個同英文完全相反——英文嘅語調錯咗,聽眾知你講咩;粵語嘅聲調錯咗,聽眾聽到嘅係另一個字。想深入了解聲調系統,睇《粵語九聲六調完全指南》。

多音字:一個字幾個讀法

粵語多音字嘅密度好高:「重」有兩個讀法兩個意思、「會」字喺唔同詞入面讀法唔同、人名地名更加係重災區。文字前端嘅消歧要靠詞語搭配同上下文判斷——判斷錯,讀音就錯。呢個位係唔同 TTS 品質分野最大嘅地方之一,想知邊啲字最易中伏,睇《廣東話多音字攻略》。

懶音:唔標準先似香港人

香港日常講嘢:n 讀 l(「你」同「理」分唔清)、ng 頭脫落(「我」讀近 o)、gw 讀 g(「國」讀近 gok)。呢啲俗稱懶音嘅現象,喺香港係主流口音,唔係錯誤。一個 TTS 如果讀得太「教科書」,字字圓正,香港人反而覺得怪——似內地劇配音多過似街坊講嘢。好嘅粵語 TTS 要識得喺合適嘅場合呈現自然嘅口語面貌。

中英夾雜:一秒轉兩個系統

「將個 file send 咗俾個 client 先」——香港日常一句嘢入面中英交替好多次。TTS 要做到無縫:英文字照英文讀,粵語部分照粵語讀,仲要語調連貫唔突兀。呢個對模型嘅要求係「兩個語言系統都要精」,通用多語言模型多數兩邊都唔夠深。深入討論睇《粵語中英夾雜 TTS 指南》。

變調:字一埋一齊就唔跟本調

粵語仲有一層:口語變調。有啲字喺特定詞彙入面會轉讀另一個調(好多時係轉高升調),令詞聽落更口語、更親切。呢種現象字典未必標齊,TTS 要靠詞彙層面嘅學習先處理到。呢個位處理得好唔好,母語者一聽就知道個系統有冇「浸過香港水」。

由文字到讀音:粵語點樣標注

粵拼係中間語言

TTS 處理粵語,內部要將中文字轉成讀音標注——粵語最通行嘅標注系統係香港語言學學會嘅粵語拼音方案(Jyutping),可以用 jyutping.org 查到細節。你唔使識拼,但知道呢層嘅存在就會明白:TTS 嘅讀音錯誤,好多時係呢層「字轉音」嘅錯,唔係聲音本身嘅錯。想查單字讀音,香港中文大學人文電算研究中心嘅粵語審音配詞字庫係好用嘅參考。

專名係持續戰場

人名、品牌名、地方名嘅讀法,好多時唔跟字典:藝人名要跟官方讀法、地方名有約定俗成嘅古音。TTS 系統用讀音詞典處理呢啲例外,詞典越貼地,讀出嚟越自然。呢個就係點解本地團隊做嘅粵語 TTS 會喺專名位明顯佔優——啲例外日日喺耳邊,唔使研究先知。

聽出問題之後:一個簡單嘅排查框架

先分清問題喺邊一層,先至唔會落錯藥。三個層次嘅症狀唔同、解法唔同:

讀音錯 → 文字前端層

聽到讀錯字(多音字讀錯、專名亂讀、數字讀怪),問題喺「字轉音」層。處理方法:改寫文字、用平台嘅讀音標注功能、或者建議平台加詞典。呢類問題係可以修嘅,唔使換平台。

語感怪 → 模型層

字全部讀啱,但成句聽落似機械人、語調冇起伏、停頓位置怪——呢個係聲學模型嘅語感問題,你喺文字層面冇得救。唯一嘅解法係換訓練得更深嘅平台,即係粵語專門嘅模型。

雜音底噪 → 聲碼器層

聲音入面有金屬聲、水聲、沙沙聲,係聲碼器或者音頻處理層嘅問題。現代平台已經少見;見到的話,係平台工程水平嘅紅燈訊號。

交稿之前:一段稿嘅四步優化

呢四步唔使逐篇做足,但重要稿(對外發佈、客戶會聽到嘅)一定要行齊:

第一步:掃多音字同專名

將稿入面嘅多音字圈出(重、會、教、參……),確認每個讀法都係你想要嘅;專名逐個查讀音。呢步五分鐘,省返十次重生成。

第二步:數字日期口語化

日期寫「十月九號」唔好寫「10/9」;時間寫「下晝三點」唔好寫「15:00」;金額連單位。你點樣講,就點樣寫。

第三步:標點檢查

長句拆短、該停頓嘅位加逗號、段落唔好一浸過長;問句用問號、語氣重嘅位用驚嘆號,語調會跟住正路行。標點就係你嘅指揮棒。

第四步:試生成、聽、修

先生成最難嗰段(專名最多、最長嗰段),聽完冇問題先整篇生成。唔好成篇生成完先發現要改——分段思維由測試嗰刻就開始。

長文穩定性:半個鐘之後仲係唔係同一把聲

點解長文會走樣

長音頻嘅常見問題:開頭幾分鐘狀態大好,去到中後段語調越嚟越平、節奏越嚟越急,聽落似「趕收工」。呢個係模型喺長序列上面保持語境一致性嘅能力問題,同單句質素係兩個維度。要評估一個平台嘅長文能力,一定要生成十分鐘以上嘅內容聽全段,單句範例完全測唔出。

分段生成係工程解法

穩妥嘅長文做法係分段生成(每段幾百字),再拼接音頻。段與段之間嘅一致性由「同一把聲線、同一組參數」保證,每段獨立生成仲可以單獨重出——改一章唔使重生成成本書。呢個方法已經係有聲書同課程製作嘅標準做法。

點解平台之間品質差咁遠

訓練資料決定上限

語音模型嘅品質直接反映訓練資料嘅量同質:粵語真人錄音喺世界語音資料入面係少數語言,通用平台攞到嘅粵語資料有限,出嚟嘅聲就「似普語化嘅粵語」;粵語專門平台由零開始收粵語資料訓練,母語者一聽就分辨到。

優化方向唔同

通用平台嘅目標係一百種語言都「可用」;專門平台嘅目標係粵語「好用」——前者平均主義,後者極致主義。你嘅受眾全部係香港人,平均主義嘅六十分就唔夠用。由原理推返落嚟嘅揀平台檢查位:訓練語料以粵語為主定附帶、有冇香港專名讀音積累、長文穩定性、變調同懶音嘅口語面貌。

點樣評價一個 TTS

三個維度

維度聽啲乜點解重要
準確度多音字、專名、數字讀啱冇讀錯字即係傳錯信息
自然度語調起伏、停頓位置、口語感決定聽眾聽幾耐先攰
穩定性長文後半段會唔會走音、變機械長音頻場景(課程、書)嘅生死位

用你自己嘅文稿驗

範例句個個平台都揀靚嘅俾你聽。真正嘅驗證係攞你自己嘅真實文稿——有你嘅專名、你嘅行話、你嘅中英夾雜——貼入去聽。三分鐘嘅親耳試聽,好過一個鐘嘅範例比較。有關音質嘅深入講解,睇《粵語 TTS 音質指南》。

常見誤解

讀音啱唔代表聽得舒服

讀音正確係及格線,自然度係優良線。「每個字都啲但成句好似機械人」係典型嘅通用平台表現——音段層面對,但韻律層面冇魂。聽評價嗰陣要聽成句成段,唔係聽單字。

標點係韻律提示,唔係裝飾

逗號係短停頓、句號係長停頓、問號令語調上揚——標點係俾 TTS 嘅韻律提示。同一篇稿,標點齊整嘅版本同懶標點嘅版本,生成出嚟係兩個質素。寫稿俾 TTS,標點要當語法用。

常見問題 FAQ

TTS 同聲音複製係咪同一樣嘢?

唔係。標準 TTS 用預先訓練好嘅聲線(圖庫聲線或者按條件設計嘅聲線);聲音複製係用某個真人嘅參考音頻,生成出似佢嘅聲。原理有重疊,但授權要求完全唔同——複製涉及真人聲音權利,一定書面同意。揀工具嗰陣兩樣都要分開聽。

點解同一句字,今次同上次生成有少少唔同?

生成過程帶有隨機性成分,同一文稿嘅多次生成可以有輕微差異。大多數場景冇影響;要嚴格一致嘅場景(遊戲、品牌聲音),生成一次之後將音頻檔存好再用,唔好每次重生成。

粵語 TTS 會唔會讀到簡體字?

讀得——簡體同繁體對 TTS 嚟講係字形問題,轉換到讀音層面之後冇分別。不過書面用字習慣唔同會影響語感:港式口語詞(「乜嘢」「搞掂」)喺簡體文本入面少見,生成出嚟嘅語言風格就會偏書面。堅持繁體稿出粵語聲,語感先最貼香港。

AI 語音同真人配音差距仲有幾遠?

短句、旁白、資訊型內容,現代粵語 TTS 已經好貼近真人質素;長對白、強情緒演技、唱歌,仍然係真人優勢位。務實分工:資訊型同高頻更新嘅內容交俾 AI,品牌旗艦片同戲劇演出保留真人。

聽到某個字讀錯,可以點處理?

三條路:改寫文字(換同義詞、加提示字)、用平台嘅讀音標注或者指令功能(如果有)、或者向平台反映加讀音詞典。遇到讀音錯誤唔好淨係硬食——錯音直接影響可信度,一定有辦法處理。

學原理對揀工具真係有用?

有用。你識得分「讀音錯」同「語感僵」兩種問題,就知道邊啲可以靠讀音詞典解決、邊啲係模型本質問題要換平台。揀工具嘅判斷力,就係由呢啲分辨力嚟。原理識得越多,俾供應商呃到你嘅空間就越細。

[!CTA]

親耳聽吓原理變成嘅聲

去港嘢 Playground 貼一段你自己嘅文字,聽吓粵語原生嘅合成質素係咩水平。

相關文章