目錄(24 節)

ComfyUI 影片 Pipeline:粵語聲畫自動化實戰指南 2026

一步步教你用 ComfyUI 搭建粵語聲畫自動化 Pipeline,由語音生成到影片輸出一氣呵成。

— 港嘢內容團隊約 10 分鐘ComfyUI影片生成粵語配音AI 工作流程
分享:

一句答你: ComfyUI 可以做粵語聲畫自動化嘅「流程骨架」,但粵語語音要靠外插節點或者外部 API,而家二〇二六粵語節點支援仍然有限,你要用「圖→片→聲→對嘴」分段夾硬砌,仲要留意五個實務限制。

重點摘要 Key Takeaways

  • ComfyUI 係節點式工作流引擎,本身唔提供語音模型,粵語聲線要靠外插節點或外部 TTS API。
  • 完整 pipeline 概念係:圖像生成 → 影片生成 → 粵語配音 → 對嘴後製,四段各自有工具選擇。
  • 粵語節點支援有限:有節點只係「Cantonese-style Mandarin」,有節點需要參考錄音,質素唔保證。
  • 五個實務限制:粵語 TTS 節點質素、對嘴對粵語聲調嘅適配、流程穩定性、素材一致性、版權同意。
  • 港嘢做法:聲用 API 批量出,片喺 ComfyUI 出,對嘴用專用工具夾埋,分段驗收。

ComfyUI 影片 Pipeline 係乜嘢概念

ComfyUI 係一個節點式工作流引擎,你將「生成圖」、「圖生片」、「轉檔」等步驟砌成一條管線,一句過執行。佢嘅強項係視覺生成同流程自動化,但有一個關鍵事實要認清:ComfyUI 本身唔提供語音模型。即係話,你想要粵語聲,就要喺條 pipeline 入面插一個語音節點,或者直接 call 外部粵語 TTS API。

成條粵語聲畫 pipeline 嘅概念如下:

階段做乜工具層面粵語支援狀況
一、圖出角色圖、分鏡圖圖像生成節點視覺層,唔涉及語言
二、片圖生片、補幀影片生成節點對白要後製
三、聲粵語旁白、對白外插 TTS 節點/外部 API節點支援有限,API 較穩
四、對嘴聲畫同步對嘴節點/專用工具視乎角色同聲軌質素

呢個分段唔係我作嘅。文生影片技術本身已經有完整學術梳理(arXiv 文生影片綜述, 2026),業界做法大致都係「視覺生成」同「語音生成」分開做,最後先至同步。粵語嘅情況更加明顯,因為粵語語音資源長期不足(WenetSpeech-Yue 論文, 2026),所以「片用 ComfyUI、聲用專門粵語引擎」係比較穩陣嘅分工。

第一步:圖像節點出角色同分鏡

Pipeline 係指將多個處理步驟串成一條自動化流程,一個步驟嘅輸出做下一個步驟嘅輸入。喺 ComfyUI,你會先開一個圖像生成工作流,出角色設定圖同分鏡圖。

實務上有兩個貼士:

  • 先鎖角色,後出分鏡。 角色一致性係影片 pipeline 最易甩嘅一環。你先用同一組參考圖出齊晒成個角色嘅正面、側面、表情,之後至出分鏡。呢個做法同我哋之前講嘅角色一致性工作流係同一個邏輯。
  • 分鏡圖一次過批量出。 唔好逐格出,用批量節點一次過跑,時間慳好多。批量生成嘅概念可以睇批量語音生成工作流,視覺同音頻嘅批量思維一樣。

例如你要做一條三十秒嘅粵語短片,分鏡有八格,你就八張圖一次過出,執走唔得嘅兩三張,剩返嘅入下一步。

第二步:圖生片節點

圖生片 係指用一張或者多張靜態圖做起點,生成一段動態影片嘅過程。ComfyUI 有唔少社區工作流可以做呢樣嘢,重點參數係片長、幀率同運鏡。

呢一步粵語用家要留意:片生成嗰陣,角色係「識郁但唔識講嘢」,個口型係求其咁郁。所以有啲人會索性生成「無對白、淨係表情動作」嘅片,對白全部後製先至夾。呢個決定會直接影響第四步對嘴嘅難度。

運鏡點樣寫、鏡頭語言點樣配粵語敘事,可以睇埋AI 鏡頭運動指南,呢篇有齊鏡頭術語同粵語旁白節奏嘅配合建議。

第三步:粵語聲線——ComfyUI 最弱一環

呢一步係整條 pipeline 嘅樽頸。根據公開節點文件(2026-10-31 觀察),ComfyUI 生態入面嘅粵語語音支援情況係咁:

節點官方講法實務含義
OmniVoice「广东话」唔係正式支援,只係 Cantonese-style Mandarin配粵語參考音頻可能出近似效果,質素唔保證
Ming-3dialect task 可揀 Cantonese需要參考錄音,效果因音頻而異
CosyVoice3可用指令叫「請用廣東話表達」指令模式同 transcript-based cloning 互斥
QwenTTS語言列表冇粵語唔適用

即係話,四個主流語音節點,冇一個係「開箱即用、粵語質素穩定」。所以實務上有兩條路:

路線 A:外部粵語 TTS API 批量出聲

呢個係港嘢推薦嘅路線。你喺 ComfyUI 出片嘅同時,用腳本或者自動化平台 call 粵語 TTS API 出聲軌。港嘢嘅 API 係 async 為主:POST 提交之後攞 job_id,再輪詢攞結果;單次 text 上限 500 字符;批量一次最多 25 個請求(Pro/Studio 專屬)。以大約 240 字符一分鐘換算,一段一分鐘粵語旁白大約 240 字符,好易計。想知 API 點樣接落自動化流程,可以睇n8n 粵語語音工作流同ComfyUI 粵語 TTS 指南。

路線 B:外插節點加參考錄音

如果你堅持全部嘢留喺 ComfyUI 入面,就用有 dialect task 嘅節點,配一段你自己錄嘅粵語參考音頻。呢個做法理論上可行,但效果好唔好,好視乎你條參考音頻嘅質素同長度,冇保證。聲音複製呢門技術本身有完整學術討論(arXiv 聲音複製綜述, 2026),有興趣可以讀,重點結論係:複製效果同參考音頻質素高度相關。

【獨家觀察】 我哋睇過社區討論同官方文件(2026-10-31),發現一個好清晰嘅分工現象:用普通話或者英文做片嘅團隊,可以成條 pipeline 留喺 ComfyUI;但粵語團隊幾乎全部都係「視覺留喺 ComfyUI、語音外判」。原因唔係技術唔得,而係粵語語音模型嘅訓練資料長期少,通用節點嘅粵語能力自然弱。所以二〇二六年做粵語聲畫自動化,最緊要係接受「混搭」呢個現實,唔好強求一條 workflow 打天下。

第四步:對嘴後製

對嘴 係指將一段預先生成嘅聲軌,配落影片角色嘅口型度,令畫面睇落似角色講緊嗰啲嘢。呢一步通常喺 ComfyUI 之外做,用專用對嘴工具。

揀對嘴工具時,粵語項目要睇三樣嘢:第一,角色要正面、嘴部清楚;第二,聲軌長過影片就要剪短或者加長影片;第三,聲軌嘅咬字清晰度直接影響口型自然度。例如 Kling 官方文件就講明 Lip Sync 工具支援上載聲軌或用 TTS,角色要正面同嘴部清楚,聲軌長過影片要剪(Kling 官方指南, 2026)。

另外有一個粵語特有嘅位:聲調影響音高,但唔直接決定嘴型;嘴型主要跟音素。所以粵語九聲六調唔會令對嘴特別難,真正令對嘴難嘅係粵語口語嘅懶音同語速。詳細嘅對嘴 QC 檢查表可以睇粵語對嘴指南同對嘴質檢清單。

五個實務限制(二〇二六年現況)

限制一:粵語 TTS 節點質素唔穩

如上表,ComfyUI 生態冇一個「正式支援粵語」嘅節點。用外插節點出粵語,你要預咗會執聲、會有普通話腔。穩陣做法係 API 出聲。

限制二:對嘴工具嘅語言標示唔透明

好多對嘴工具官方淨係寫「支援多語言」,冇逐個話粵語支援到咩程度。例如 Kling 官方語言表列咗粵語(Kling 模型指南, 2026),但其他工具就要自己試。做項目前一定要用短聲軌做一輪小規模測試,測試方法同驗收標準可以參考粵語 TTS 準確度測試指南。

限制三:流程穩定性

ComfyUI 工作流一長,任何一個節點出錯就成條 pipeline 停。實務做法係分段執行、分段存檔:圖出齊先開片,片出齊先出聲,唔好一條 workflow 由頭跑到尾。每段之間落一個檢查點,出事就由嗰度重跑。

限制四:素材一致性

角色圖、分鏡圖、生成片、聲線,四樣嘢要「似同一個人」。聲線方面,用固定嘅聲線 slug(例如港嘢嘅 sum = 心妍)可以確保成個項目把聲一致;視覺方面就要靠參考圖控制。成套做法睇品牌聲線一致性。

限制五:版權同意同標示

聲音複製他人聲音必須取得明確同意,肖像使用要授權,音樂字體圖像全部要清授權。另外,香港數字政策辦公室嘅生成式 AI 指引強調透明、問責同資料保障(數字政策辦公室, 2026),生成內容應該有清楚標示。呢唔係走程序,係走唔甩嘅法律底線。

一個完整示例流程

用一條六十秒粵語產品短片做例:

  1. 寫稿。 六十秒大約 240 字符粵語旁白,寫好之後分段。
  2. 出圖。 ComfyUI 圖像工作流,出六至八張分鏡圖,鎖角色。
  3. 出片。 圖生片節點逐段生成,每段五至八秒。
  4. 出聲。 call 粵語 TTS API 批量出聲軌(例如一次提交 25 個請求,每段唔超過 500 字符)。
  5. 對嘴。 聲軌配落有角色講嘢嘅片段,冇角色嗰啲做純旁白。
  6. 混音匯出。 旁白、配樂、字幕三條軌夾埋。

例如你做嘅係電商產品片,第四步可以用批量生成工作流嘅思維,一次過出晒粵語、場次、版本;第五步嘅對嘴標準就照粵語影片配音指南嘅檢查表行。

常見問題 FAQ

問題一:ComfyUI 可以直接出粵語配音嗎?

唔可以「直接」。ComfyUI 係節點式工作流引擎,本身唔提供語音模型。你要外插語音節點(而粵語支援有限),或者 call 外部粵語 TTS API。根據公開節點文件(2026-10-31),主流語音節點冇一個係正式支援粵語。

問題二:粵語對嘴係咪特別難?

唔係因為聲調難。聲調影響音高,唔直接決定嘴型;嘴型主要跟音素。粵語對嘴真正嘅難點係口語語速、懶音同聲軌咬字清晰度。聲軌質素好,對嘴就順。

問題三:一條 workflow 由頭跑到尾唔得咩?

技術上得,實務上唔建議。工作流一長,一個節點出錯就全線停,重跑成本高。分段執行、分段存檔,每段落檢查點,先係穩陣做法。

問題四:粵語聲線點樣保持一致?

用固定嘅聲線標識。例如港嘢嘅聲線 slug 係穩定 id,成個項目用同一個 slug,把聲就一致。如果用複製模式,就要一直用同一條參考音頻,唔好中途換。

問題五:港嘢 API 有免費額度試嗎?

有。登記送 2,000 字符(一次性)。以大約 240 字符一分鐘計,夠出大約八分鐘粵語旁白,足夠做一輪小規模測試。付費方案月配額另計。

問題六:片生成嗰陣要唔要埋對白口型?

可以唔要。好多粵語團隊係生成「淨動作、無對白」嘅片,之後先對嘴。咁樣做彈性大,聲改咗都唔使重生成條片。

問題七:商用要注意啲乜?

三樣嘢:聲音複製要有明確同意;肖像、音樂、字體要授權;生成內容要有清楚標示。香港私隱專員公署有 AI 個人資料保障模範框架可以跟(私隱專員公署, 2026)。

資料來源同方法說明

本文規格數據嚟自各工具官方文件同公開論文,觀察日期一律 2026-10-31。節點支援狀況以官方 repo 文件為準;粵語語言事實參考 WenetSpeech-Yue 論文;聲畫分工概念參考文生影片學術綜述。本文冇聲稱任何「實測」結果;所有工具能力描述均標明來源性質,建議讀者喺自己項目上做小規模驗證。

關於港嘢:我哋專做香港廣東話語音。有查詢可以聯絡我們,或者睇關於港嘢。

本文由港嘢內容團隊撰寫,經編輯覆核(2026-10-31)

[!CTA]

想試粵語聲畫 pipeline?先由把聲開始

即刻去港嘢 playground,貼段粵語稿,登記送 2,000 字符(一次性),出條聲軌試吓夾片。

相關文章