Pika 基于 MiniMax H3 开源 H3 Flex,六步实现音视频联合生成
近日,Pika 发布 MiniMax H3 衍生模型 Pika H3 Flex,并开放适配器权重与推理代码。该模型通过六步去噪联合生成画面和声音,支持文本、首尾帧和多模态参考输入,供创作者进行镜头设计、参考生成和视频编辑。 本次发布包含两套 LoRA 适配器,分别用于文本及首尾帧条件生成、多模态参考生成,同时提供 MiniMax H3 基础组件和本地推理工具。模型原生支持 480P、768P 输出,可生成约 5 至 15 秒的视频及同步立体声音频。Pika 提供 ComfyUI 工作流和 Hugging Face Diffusers 接入方式,方便开发者将其加入现有创作工具。 在本地生成之外,…
本文作者:
导语:H3 开源一个月内下载量已经超过 2400 万次,产生超过 300 个公开衍生模型,成为 2026 年全球下载量最高的模型之一。
近日,Pika 发布 MiniMax H3 衍生模型 Pika H3 Flex,并开放适配器权重与推理代码。该模型通过六步去噪联合生成画面和声音,支持文本、首尾帧和多模态参考输入,供创作者进行镜头设计、参考生成和视频编辑。
本次发布包含两套 LoRA 适配器,分别用于文本及首尾帧条件生成、多模态参考生成,同时提供 MiniMax H3 基础组件和本地推理工具。模型原生支持 480P、768P 输出,可生成约 5 至 15 秒的视频及同步立体声音频。Pika 提供 ComfyUI 工作流和 Hugging Face Diffusers 接入方式,方便开发者将其加入现有创作工具。
在本地生成之外,Pika 可通过 API 提供 1080P、2K 和 4K 视频增强,以及音频分轨功能。创作者可以先以较低分辨率生成和筛选草稿,再对选定版本进行高分辨率处理;同步生成的声音则可拆分为对白、配乐、音效、拟音和环境声五类独立音轨,方便在后期分别调整。高分辨率的增强视频和音频分轨则由 Pika API 服务提供。
Pika 在技术博客中介绍,团队先在内部音视频数据集上对 MiniMax H3 进行监督微调,再采用投影分布匹配蒸馏(PDMD),将教师模型的 50 步去噪压缩至 6 步。随后,团队通过奖励反馈学习和直接偏好优化训练 LoRA 适配器,改善美学质量、清晰度和指令遵循。适配器合并用于推理后,无须增加生成步数。
Pika 还对托管推理服务做了加速。在保持模型权重和六步采样方案不变的测试中,使用 8 张 NVIDIA B300 GPU 生成一段 5 秒、768P 音视频,条件编码、去噪和解码的合计耗时从 3.409 秒缩短至 2.129 秒,处理速度约为原来的 1.6 倍。
在视觉与音频表现上,Pika 公布的对比评测结果显示,H3 Flex 在五项视觉和音频质量指标上均在参评模型中取得最高得分,并在 DesignArena 文生视频榜单上取得第八名成绩,是该榜单下排名最高的开源视频模型。
今年 8 月,MiniMax H3 开源后,MiniMax 与合作企业围绕不同的使用场景,继续训练和优化模型,并在社区中开放,包括与 Running Hub 打造 MiniMax H3 480P;与 fal 选择面向实时生成做后训练和推理优化,推出了 H3 Max 768P、H3 Max 480P;以及 FastVideo 通过稀疏化和硬件适配推出的 FastH3、英伟达与 MIT 联合围绕 H3 的开发 StreamRender-H3、Open-H3-Regenerate-2K 等多款模型等,海外开发者围绕 H3衍生模型搭出了 Twitch 直播、24 小时“AI 电视台”和 AI 短视频直播软件等创新玩法。
H3 开源一个月内下载量已经超过 2400 万次,产生超过 300 个公开衍生模型,成为 2026 年全球下载量最高的模型之一。
0 人收藏
分享:
相关文章
MiniMax H3
Pika
开源
GAIR Paper 088:港中文李鸿升团队论文 MindVLA-U1: ...
MiniMax H3 开源生态持续拓展,英伟达团队开源 4K 视 ...
给 AI 一张陶罐碎片图,它能还原破裂过程吗?Minima ...
MiniMax H3 视频模型登顶开源社区第一,定义视频模型 ...
小七
发私信
当月热门文章
阶跃 Step 5 Preview 登上 OpenRouter 全球第一,10月15日开源!
产业出题,科技答题:2026 IEIC国际具身智能技能大赛,用真实岗位任务考核机器人落地能力
阶跃 Step 5 Preview 接入腾讯 WorkBuddy,独家限免 2 周!
昆仑万维诞生世界上第一款消费级显卡视频大模型游戏,同步开源
Meshy 跻身 a16z 消费级 AI 应用月收入 Top 50,为榜单唯一 AI 3D 公司
最新文章
小米汽车10月交付超5万辆,澎程首个完整交付月持续上量
从“懂回答”到“能执行”:Zoho如何让AI走进企业业务
商汤开源 SenseNova Loop-9B-Preview:探索以计算深度释放模型潜力
阿里巴巴与 Apple 达成合作,将千问集成至 Apple 智能
游戏手柄销量涨108%!《影之刃零》爆火带动游戏装备“换新潮”
沙钢接入千问办公,已将Agent落地核心业务场景
热门搜索
腾讯
iOS
爱奇艺
Android游戏
互联网金融
知乎
夏普
中国电信
TC Disrupt
雷锋早报
WAIC
为了您的账户安全,请 验证邮箱
您的邮箱还未验证,完成可获20积分哟!
重发邮箱 修改邮箱
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以 设置密码 以方便用邮箱登录
立即设置
以后再说
本文内容由 ai007 从公开渠道聚合,版权归原作者所有。若原文已删除或变更, 以原文站为准;本站存档仅为便于查阅而保留。