目錄(34 節)
- Lip sync 係咩?同 AI 配音有咩分別
- 廣東話對嘴,難位唔喺聲調
- 一、入聲字收尾
- 二、圓唇音
- 三、語速同節奏
- 四、中英夾雜
- 三種對嘴路線,用途完全唔同
- 路線一:相片變說話(Talking photo/Talking avatar)
- 路線二:舊片換聲(Re-dub)
- 路線三:實時虛擬人
- 五個決定成品好壞嘅位
- 一、聲軌乾淨程度
- 二、人臉角度同遮擋
- 三、片長限制
- 四、幀率同剪接
- 五、字幕同節奏
- 工具地圖:2026 年 10 月觀察
- 由稿到出片:七步工作流
- 價錢點計?多數係逐秒聲頻
- 五個最常見中伏位
- 一、用有背景音樂嘅聲軌
- 二、把聲太長
- 三、中英夾雜讀錯
- 四、對嘴之後才改稿
- 五、以為模型會自動講廣東話
- 資料來源同方法說明
- 常見問題 FAQ
- Lip sync 係咪一定要用 AI?
- 廣東話對嘴,用邊個工具最好?
- 對嘴會唔會改變原本把聲?
- 一條 60 秒片,對嘴要幾耐?
- 可以用自己把聲嗎?
- 對嘴片可以商用嗎?
- 想試廣東話聲軌?
AI Lip Sync 廣東話指南:嘴型、聲軌同工具點揀(2026)
AI 對嘴唔係魔法:工具只跟住你條聲軌動嘴。本文由粵語入聲、圓唇音講起,拆三種對嘴路線同工具點揀。
一句答你:Lip sync 係將一條聲軌對返畫面人物嘴型嘅技術。工具只負責「對嘴」,把聲係你餵俾佢嘅。所以廣東話成品好唔好,八成喺聲軌,兩成喺對嘴。
Key Takeaways
- Lip sync 係把聲畫同步嘅後製技術,唔係語音生成;聲軌要自己準備。
- 廣東話嘅難位唔喺聲調,而喺入聲收尾、圓唇音同中英夾雜嘅嘴型切換。
- 對嘴有三條路線:相片變說話、舊片換聲、實時虛擬人;用途唔同,工具亦唔同。
- 2026 年市面工具多數逐秒聲頻收費,片長同人臉角度係最常見嘅隱形限制。
- 最穩陣嘅工作流係:先定稿,再出粵語聲軌,最後才對嘴;倒轉做會白花時間。
Lip sync 係咩?同 AI 配音有咩分別
Lip sync 係指將一段聲音,對準畫面入面人物嘅嘴唇動作,令觀眾覺得「係佢講」。英文又叫 lip-sync、lipsync 或者對嘴。
AI 配音 係另一件事:將文字變成語音。你可以只有一個 WAV 檔,完全冇畫面。
學術界會叫呢類工作做「audio-conditioned lip generation」。開源專案 LatentSync 嘅論文,就係用聲頻條件去生成嘴型(LatentSync, arXiv, 2024)。
兩者經常一齊用,但責任分明:
| 工作 | 輸入 | 輸出 | 常見工具類型 |
|---|---|---|---|
| AI 配音 | 文字稿 | 一條聲軌 | 文字轉語音平台 |
| Lip sync | 聲軌+相片或影片 | 嘴型對好嘅影片 | 對嘴模型、數字人平台 |
| 配音+對嘴 | 文字稿+畫面 | 完整成品 | 聚合式創作平台 |
分清楚呢點好重要。好多人以為「個工具識出廣東話」,其實工具只係跟住你條聲軌動嘴。你把聲讀錯字,對嘴再準都救唔返。
想先搞清楚配音嗰層,可以睇《AI 配音入門指南》;本文集中講畫面嗰層。
廣東話對嘴,難位唔喺聲調
呢個係最常被誤解嘅一點:聲調唔影響嘴型。聲調係音高變化,嘴唇形狀主要跟音素走。所以「詩」同「試」嘴型可以一樣。
真正難嘅係以下四樣。
一、入聲字收尾
粵語有 -p、-t、-k 三種入聲收尾。例子:「十」收 -p、「八」收 -t、「六」收 -k。
呢啲字讀到尾要突然閉嘴或者塞住氣流。對嘴模型如果只學過英文同普通話,好易漏咗最後一下閉嘴。畫面就會出現「口型未收,聲已完」嘅違和感。
二、圓唇音
粵語嘅 yu、oe、eoi 等韻母,嘴唇要明顯收圓。模型若果把嘴形拉平,觀眾會覺得把聲「唔係喺佢口入面出」。
三、語速同節奏
廣東話同一句話嘅音節密度高。60 秒畫面可以塞好多字。對嘴模型要跟得好密,嘴部動作就容易變得機械。
四、中英夾雜
「今晚 deadline,聽日 follow up」呢類句子,口腔要喺粵語同英文音素之間切換。切換位一多,嘴型就易跳。
【獨家觀察】2026 年 10 月,我哋逐間對嘴工具嘅官方文件核對,發現大部分模型只列出「支援任何語言聲軌」。呢句技術上冇錯,但冇保證粵語音素嘅嘴型準確度。揀工具時,唔好將「支援」當成「準確」。
三種對嘴路線,用途完全唔同
路線一:相片變說話(Talking photo/Talking avatar)
你俾一張正面相,再俾一條聲軌,模型會令相中人開口、眨眼、輕微擺頭。
適合:產品介紹、虛擬主播、教育短片、唔想出鏡嘅創作者。
限制:相片質素決定一切。側面、遮嘴、低光、多人入鏡,出嚟多數唔自然。
路線二:舊片換聲(Re-dub)
你已經有一條片,想換走原本把聲,或者改成廣東話。模型會保留畫面動作,只重畫嘴部。
適合:把普通話或英文片本地化、修正讀錯、換品牌代言聲線。
限制:原片嘅嘴部被遮住、角度太側、或者畫面太暗,都會令重繪失敗。
路線三:實時虛擬人
用喺直播、客服、互動問答。聲軌同嘴型要即時同步,延遲要求最高。
適合:AI 客服、虛擬主持、互動教學。
限制:多數方案要成套系統,唔係單次生成。想了解呢條路線,可以睇《數字人語音整合指南》。
五個決定成品好壞嘅位
一、聲軌乾淨程度
對嘴模型會將聲軌入面所有人聲都當成「要對嘴嘅內容」。背景音樂、回音、鍵盤聲,全部會干擾。
最穩陣:人聲單軌、無背景音樂、無明顯環境噪音。如果有音樂,先分離人聲。
二、人臉角度同遮擋
正面、光線平均、嘴巴清晰,係最理想。眼鏡反光、手遮嘴、頭髮遮面,都會令模型估錯。
三、片長限制
對嘴唔係無限長。以 King AI 官網 2026-10-31 嘅說明為例,Lip Sync 引擎最多接受 90 秒聲頻;Talking Avatar 多數引擎上限 60 秒,其中一個引擎只有 14 秒(King AI, 2026)。
呢類限制會直接影響你點切片。同一個訪問,可能要分三段做。
四、幀率同剪接
對嘴完成之後,嘴型係綁死喺嗰條片。你之後再剪短、變速、加轉場,嘴型就可能對唔上。
所以次序一定係:剪好片 → 定稿 → 出聲 → 對嘴。唔好調轉。
五、字幕同節奏
字幕唔會影響嘴型,但會影響觀眾覺得「夾唔夾」。字幕早半秒或遲半秒,觀眾就會覺得把聲飄。
想字幕同聲軌準確對軸,可以睇《SRT 字幕同步指南》。
工具地圖:2026 年 10 月觀察
以下只列官方頁面講得到嘅能力,唔代表我哋逐個測試過。
| 類型 | 代表工具 | 官方講嘅強項 | 要留意 |
|---|---|---|---|
| 聚合平台 | King AI | 同一個介面試多個對嘴同數字人引擎 | 逐秒收費,要自備聲軌 |
| 數字人平台 | HeyGen | 數字人、翻譯、對嘴一條龍 | 方案以訂閱為主 |
| 影片模型 | Kling AI | 影片生成同 avatar 功能 | 功能按地區同帳戶而異 |
| 對嘴 API | Sync.so | 專做 lip sync API | 要技術接入 |
| 開源模型 | LatentSync | 可自行部署、改流程 | 要 GPU 同調參 |
| 粵語聲軌 | 港嘢 | 專做香港廣東話 TTS | 只出聲,唔出畫面 |
呢個分工係關鍵:畫面工具同語音工具係兩層。你可以用 A 平台出粵語聲,再用 B 平台對嘴。冇話一定要同一間。
想睇聚合平台點揀引擎,可以睇《King AI 對嘴教學》。
由稿到出片:七步工作流
- 定稿。 一句一句寫好,讀一次,刪走書面語。
- 標讀音。 多音字、公司名、英文縮寫,逐個標。
- 出聲軌。 用粵語 TTS 生成,或者真人錄。揀邊條路,睇《粵語配音完整指南》。
- 試聽。 最少聽兩次:一次跟稿,一次閉眼聽自然度。
- 剪片。 畫面剪好先,唔好邊剪邊對嘴。
- 對嘴。 匯入聲軌,先做 10 秒測試,確認嘴型方向同速度。
- QC。 檢查開頭、結尾、快語句、中英夾雜位。
呢個次序唔可以亂。尤其第 5 步同第 6 步:先剪後對,係鐵律。
價錢點計?多數係逐秒聲頻
2026 年嘅對嘴工具,收費模式主要有三種:
- 逐秒聲頻:你條聲有幾長就收幾多。60 秒片、實際講 45 秒,就按 45 秒計。
- 逐條片:每次生成一個固定價,唔理長短。
- 訂閱制:月費包一定額度,超出再買。
逐秒模式對短片有利,對長片唔着數。以 King AI 為例,官網標示對嘴引擎由 0.3 至 1.333 credits/秒聲頻,另有每次最低消費(King AI, 2026)。實際價錢會隨套餐同匯率變,生成前佢會顯示報價。
【獨家觀察】如果你每個月要做幾十條片,逐秒收費嘅成本會快速累積。呢個時候,與其比較「邊個引擎平」,不如先比較「邊個流程少重做」。重做一次嘅時間同 credits,通常貴過單價差異。
五個最常見中伏位
一、用有背景音樂嘅聲軌
模型會連音樂都當人聲。出嚟嘅嘴型會亂跳。先分離人聲。
二、把聲太長
超過平台上限,你要麼分段,要麼濃縮。分段就要處理接位,濃縮就要改稿。兩樣都要時間。
三、中英夾雜讀錯
英文品牌名、產品型號、縮寫,最易讀錯。出聲之後逐個核,唔好靠估。
四、對嘴之後才改稿
改一句,成條聲要重出,嘴要重對。成本翻倍。定稿才開機。
五、以為模型會自動講廣東話
對嘴模型唔會生成語音。佢只會跟聲。你要麼自己錄,要麼用 TTS。呢個誤解最常見,亦最浪費時間。
資料來源同方法說明
本文由港嘢內容團隊撰寫,經編輯覆核。產品能力、片長上限同收費模式,均對照各平台官方頁面(查閱日期 2026-10-31),未經獨立實測;平台功能同價格可能隨地區、帳戶同時間改動,落單前請以官方報價為準。
主要來源:
- Seedance 2.5 官方介紹:音視頻聯合生成同參考輸入規格。
- King AI Lip Sync 頁面:引擎數目、片長上限同逐秒收費說明。
- HeyGen 官方網站:數字人同對嘴產品線。
- Sync.so 官方網站:對嘴 API 能力。
- LatentSync 開源專案:開源對嘴模型同部署要求。
常見問題 FAQ
Lip sync 係咪一定要用 AI?
唔一定。傳統做法係逐格手動調整,或者用 After Effects 外掛。AI 嘅好處係快同平,但精細表演仍然有人手調整嘅空間。
廣東話對嘴,用邊個工具最好?
冇單一答案。要看你係「相片變說話」定「舊片換聲」。前者睇數字人引擎,後者睇 lip sync 引擎。最實際嘅做法,係用同一條 10 秒粵語聲軌,喺兩三個平台試,比較嘴型同收費。
對嘴會唔會改變原本把聲?
唔會。對嘴只改畫面嘴型,聲軌係你輸入嗰條。除非平台另外提供變聲功能。
一條 60 秒片,對嘴要幾耐?
生成時間視乎平台同片長,由幾分鐘到幾十分鐘都有。本文唔會俾一個固定數字,因為同一平台唔同時段都可以差好遠。預留緩衝時間最實際。
可以用自己把聲嗎?
可以。你可以自己錄,或者用聲音複製。但複製他人聲音要取得明確同意;相關法律位可以睇《AI 聲音版權指南》。
對嘴片可以商用嗎?
要睇平台條款同你所用素材嘅授權。人物肖像、聲線、背景音樂,三樣都要清。工具嘅商用授權,唔等於你素材嘅授權。
想試廣東話聲軌?
對嘴工具最缺嘅,唔係鏡頭,係一把真係似香港人講嘢嘅聲。你可以先去 港嘢 playground 貼一段稿,聽吓成品,再決定用邊個對嘴平台。
想由頭認識粵語配音,可以睇《廣東話 TTS 完全指南》;想睇 AI 影片點樣生成廣東話對白,就睇《Seedance 廣東話配音指南》。
想睇成個 AIGC 粵語聲軌嘅工具地圖,可以睇《AI 影片廣東話配音指南》。