Pika H3 Flex开源:六步去噪生成同步音视频

Pika H3 Flex 开放适配器权重与推理代码,以六步去噪联合生成画面和同步立体声。讲清两套 LoRA 的选择、480P/768P 本地输出、5 至 15 秒成片,以及 ComfyUI、Diffusers、API 增强和音频分轨的衔接方法。

文章目录

原文:Pika 基于 MiniMax H3 开源 H3 Flex:六步实现音视频联合生成

Pika 发布了基于 MiniMax H3 的衍生模型 Pika H3 Flex:它把画面与声音放进六步去噪中联合生成。适配器权重与推理代码开放,MiniMax H3 基础组件和本地推理工具也一并提供。现在值得看的不只是一个新模型,而是一套能进入创作流程的交付方式。

这套流程覆盖文本、首尾帧和多模态参考输入,可用于镜头设计、参考生成和视频编辑。本地原生支持 480P、768P,约 5 至 15 秒的视频会带同步立体声;API 则能承担 1080P、2K、4K 视频增强与音频分轨。读完后可以拿走一条清晰路径:本地出草稿,筛选后再增强,最后拆出对白、配乐和音效。

1、关键变化:画面和声音一起被生成

1、关键变化:画面和声音一起被生成(AI 生成示意图)

1、关键变化:画面和声音一起被生成 · AI 生成示意图

H3 Flex 的关键变化,是声音不再被当成生成完成后的附加文件,而是与画面一起进入联合生成。一次任务同时覆盖视觉与声音,创作重点可以转向镜头、参考和编辑,不必先做画面再另找声音。

六步去噪是这次发布最醒目的工程结论:画面与声音在同一条去噪链路中生成。 “六步”给出了联合生成流程的步骤数,具体模型配置与运行方式仍以发布仓库和原文为准。

2、两套 LoRA 分工明确

2、两套 LoRA 分工明确(AI 生成示意图)

2、两套 LoRA 分工明确 · AI 生成示意图

本次发布包含两套 LoRA 适配器。开发者拿到的也不只是最终模型,还包括适配器权重、推理代码、基础组件与本地工具,可以按现有环境选择接入方式。

适配器 条件输入 适合场景 选择提示
文本与首尾帧 LoRA 文本、首尾帧 镜头设计、基于给定起止画面的生成与编辑 先明确主体、场景和首尾帧约束
多模态参考 LoRA 多模态参考 参考生成、让结果受参考素材约束 确认参考素材与目标内容的关系

简单说,第一套解决“按文本或首尾帧控制”,第二套解决“按多模态参考控制”。公开信息按这两类条件描述适配器;是否可以组合使用、具体加载顺序与节点参数,以发布仓库和原文为准。先按任务条件选适配器,比只看模型名称更不容易走偏。

3、本地与 API:把分辨率放在流程后段

这里最实用的不是“本地还是 API”,而是把两者串联。Pika 给出的是两段式能力:本地负责轻量试错,API 负责把选中的版本推高分辨率,或把声音拆开继续编辑。

环节 可用能力 建议用途
本地生成 480P、768P;约 5 至 15 秒;同步立体声 尝试提示、参考与镜头组合
API 视频增强 1080P、2K、4K 处理已经筛选出的版本
API 音频处理 音频分轨 拆出对白、配乐和音效

先在 480P 或 768P 生成多个候选,只把选中的版本送去 1080P、2K 或 4K 增强,再按需要分轨。这样既利用了本地可迭代的优势,也不必把高分辨率处理花在未选中的版本上。低分辨率负责找方向,高分辨率负责交付,音频分轨负责后期。

4、接入方式:ComfyUI 与 Diffusers 各取所需

Pika 同时提供 ComfyUI 工作流和 Hugging Face Diffusers 接入方式,并提供 MiniMax H3 基础组件与本地推理工具。已经在用 ComfyUI 的创作者可以直接通过工作流搭节点;希望把模型接进代码链路的开发者,则可沿用 Diffusers 的推理方式。开放的不只是权重,还有图形化操作与代码接入两条路。

为了避免绑定具体节点名,下面用 Python 标准库提交 ComfyUI API 格式工作流。先按 Pika 发布说明导入其工作流并取得 API 格式文件,具体导出方式以发布说明为准。

import argparse
import json
import urllib.request
from pathlib import Path

parser = argparse.ArgumentParser(
    description='Submit a ComfyUI workflow in API format'
)
parser.add_argument(
    'workflow',
    type=Path,
    help='Path to the workflow JSON exported in API format'
)
parser.add_argument(
    '--server',
    required=True,
    help='URL of the running ComfyUI server'
)
args = parser.parse_args()

workflow = json.loads(args.workflow.read_text(encoding='utf-8'))
payload = json.dumps({'prompt': workflow}).encode('utf-8')
request = urllib.request.Request(
    args.server.rstrip('/') + '/prompt',
    data=payload,
    headers={'Content-Type': 'application/json'},
)

with urllib.request.urlopen(request) as response:
    print(response.read().decode('utf-8'))

脚本只负责提交,不改写模型参数,因此不会把 LoRA、去噪步骤或输出分辨率写死。模型路径、节点参数与依赖安装方式以 Pika 发布仓库、Diffusers 接入说明和原文为准。需要自动化时再上代码,不必为了调用模型先重写整套界面。

5、从想法到成片:按四步走

  • 定条件: 只有文字,就走文本条件;需要控制开头和结尾,就加入首尾帧;有明确参考素材,就走多模态参考路径。
  • 做短草稿: 本地从 480P 或 768P 起,生成约 5 至 15 秒片段,同时检查画面和同步立体声。
  • 再增强: 选中一个版本后,通过 API 做 1080P、2K 或 4K 增强,不把多个未筛版本一起往后推。
  • 做声音后期: 利用音频分轨拆出对白、配乐和音效,再放进剪辑工具继续调整。

镜头设计、参考生成和视频编辑都能从这套输入方式出发。真正省事的地方是,画面与声音在同一次生成里得到;真正需要人工判断的地方,则是哪一版值得进入增强环节。先证明创意可行,再投入交付质量,这是 H3 Flex 最顺手的用法。

写在最后

H3 Flex 的核心价值,是把同步音视频生成放进可下载、可本地运行、可接入现有工具的开源链路。
六步去噪、两套 LoRA 和 ComfyUI / Diffusers 支持,构成了从条件控制到部署选择的入口。
“本地低分辨率草稿—筛选—API 增强—音频分轨”是一条很实用的创作路径。
开源解决的是接入问题,分辨率与后期则可以按需要逐级处理。
我的判断是:音视频联合生成正在从效果展示进入工程化阶段,工作流兼容性与成片可控性会成为更实际的评价维度。

相关阅读

文中链接

整理自本文的外部链接,请以来源页面说明为准。

Pika H3 Flex开源:六步去噪生成同步音视频 · 阿凡达博客