MiniMax H3 开源生态持续拓展,英伟达团队开源 4K 视频增强方案
近日,由英伟达与麻省理工学院研究人员组成的 Efficient-Large-Model 团队,在 Hugging Face 发布视频增强项目 Open-H3-Regenerate-2K 的模型权重,配套推理代码已在 NVlabs/Sana 仓库开放。该方案基于 MiniMax H3,将低分辨率视频草稿重新生成为高分辨率视频,支持 2560×1440 的 2K 输出,最高可实现 3840×2160 的原生 4K 重生成。 MiniMax H3 的完整系统包含多模态上下文处理、基础音视频生成和高分辨率重生成等环节。其中,已开放权重的 H3-Base 负责生成 768P 音视频,官方 H3-Rege…
本文作者:
导语:英伟达 MIT 开源 H3 重生方案,低清草稿直出 2K/4K。
近日,由英伟达与麻省理工学院研究人员组成的 Efficient-Large-Model 团队,在 Hugging Face 发布视频增强项目 Open-H3-Regenerate-2K 的模型权重,配套推理代码已在 NVlabs/Sana 仓库开放。该方案基于 MiniMax H3,将低分辨率视频草稿重新生成为高分辨率视频,支持 2560×1440 的 2K 输出,最高可实现 3840×2160 的原生 4K 重生成。
MiniMax H3 的完整系统包含多模态上下文处理、基础音视频生成和高分辨率重生成等环节。其中,已开放权重的 H3-Base 负责生成 768P 音视频,官方 H3-Regenerate-2K 模块通过 API 提供服务。此次发布的项目复用 H3 基础模型的生成能力,为高分辨率重生成环节提供了一套可自行部署的开放实现。
在细化模型的训练阶段,研究团队保持 H3 Transformer 主干与视频 VAE 的原有参数不变,仅训练新增的细化 LoRA。推理时,细化 LoRA 与 LightX2V FL2VA Turbo、LMS Sharp 等社区适配器合并使用,通过三步去噪,在目标分辨率下重新生成画面细节。视频草稿中的场景、布局和运动信息,则为这一过程提供基础。
为提高推理效率,项目采用社区开发的潜空间放大器,直接放大视频的潜在表示,减少高分辨率下重复解码、编码的开销。同时,方案结合 SoL-Engine 的稀疏注意力、低精度计算和快速 VAE 解码器,对细化与解码环节进行加速。
项目团队公布的测试显示,在单张 NVIDIA B200 GPU、预热后的测试条件下,一段约 5 秒视频的潜空间放大、三步细化和 2K 解码合计耗时,由未优化实现的 87.26 秒降至 22.45 秒,处理速度约为原来的 3.9 倍。其中,快速解码器将视频解码耗时从约 15 秒降至约 1.6 秒。
画质方面,项目团队在 RefinerBench-150 上进行了对比评测。在相同输入、相同 2K 输出条件下,Open-H3-Regenerate-2K 在感知质量评测 UniPercept 上的平均分为 60.0,官方 H3-Regenerate-2K API 为 53.4。VBench 评测中,该方案的美学质量、成像质量和主体一致性得分更高,官方 API 在运动平滑度和动态程度上仍略优。
MiniMax H3 在今年 8 月开放权重,围绕 H3 展开的微调、蒸馏和工具适配迅速增多,吸引了海内外研究团队与社区开发者参与,一个月内下载量超过 2400 万次,产生超过 300 个公开衍生模型,H3 成为 2026 年全球下载量最高的模型之一。
其中,英伟达与 MIT 联合围绕 H3 的开发覆盖了不同方向。除本次视频增强方案外,该团队还发布了基于 H3 Ref2VA 构建的流式视频渲染模型 StreamRender-H3,以及从 H3 视频 VAE 蒸馏而来的快速解码器 Sol-H3-VAE,分别面向交互式视频渲染和解码效率优化。
此前,LightX2V 推出的 MiniMax-H3 Turbo 提供四步、八步等蒸馏版本,社区微调模型 Singularity 则着重优化动作表现、面部细节与视觉风格。海外团队 FastVideo、Pika 也分别发布了 FastH3 四步预览版本和六步采样的 Pika H3 Flex;ComfyUI、Unsloth 则通过适配权重和量化版本,将 H3 带入更多本地创作工作流。
0 人收藏
分享:
相关文章
MiniMax H3
英伟达
原生 4K 重生成
给 AI 一张陶罐碎片图,它能还原破裂过程吗?Minima ...
MiniMax H3 视频模型登顶开源社区第一,定义视频模型 ...
喊出300万张订单,英伟达RTX PRO 5500为何遭到提前疯 ...
英伟达开源 IMO 金牌配方:不仅是「人海战术」,1.5 ...
小七
发私信
当月热门文章
阶跃 Step 5 Preview 登上 OpenRouter 全球第一,10月15日开源!
产业出题,科技答题:2026 IEIC国际具身智能技能大赛,用真实岗位任务考核机器人落地能力
阶跃 Step 5 Preview 接入腾讯 WorkBuddy,独家限免 2 周!
昆仑万维诞生世界上第一款消费级显卡视频大模型游戏,同步开源
Meshy 跻身 a16z 消费级 AI 应用月收入 Top 50,为榜单唯一 AI 3D 公司
最新文章
欣旺达前三季度营收634.62亿元,终止H股上市计划
百度 APP 发布四大 AI 升级,搜索已实现递归自我进化
豆包再送免费福利:累计签到30天可得8800额度,新用户免费领一个月订阅
一加 Ace 7 Pro 火爆热销:首销销量同比上涨 225%
脑景中心启幕、四款新品齐发!熵基科技加码非侵入式脑机接口全栈技术与应用平台
阿里用速卖通把双11带到韩国,还豪送4辆特斯拉!
热门搜索
滴滴
高通
虚拟现实
激光雷达
Oculus
硬创邦
Oculus Rift
paypal
夏普
产品
3D
为了您的账户安全,请 验证邮箱
您的邮箱还未验证,完成可获20积分哟!
重发邮箱 修改邮箱
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以 设置密码 以方便用邮箱登录
立即设置
以后再说
本文内容由 ai007 从公开渠道聚合,版权归原作者所有。若原文已删除或变更, 以原文站为准;本站存档仅为便于查阅而保留。