指南如何用 AI 替换视频里的人物：从动捕到 H3 换人四步
Makernice 团队 ·
价格截至 2026 年 11 月 10 日（价表 v12）。
用 AI 替换视频里的人物，就是保留动作、只换外观。2026 年 11 月在 X 上流传的做法分四步：对原视频做 RGB 单目动捕，重定向并修滑步，用开放权重的 MiniMax H3 做基座，再用一张角色图跑 H3 Character Swap LoRA。镜头稳、动作简单时，只用 LoRA 就够。
这段换角色演示视频里有什么？
上面这段演示由 @OJI3_NIKKE 发布，标题是「RGBMoCap → H3-Character-Swap-LoRA」，整条流程在一个桌面工具里跑完。左栏是原视频：客厅里用手机拍的跳舞画面，下方的 Find person 按钮用来选出要跟踪的人。中栏是动作捕捉：一个灰色 3D 人体网格在网格地面上同步跳舞，绿色和橙色圆圈标出每只脚着地的时刻；Bone Overlay、Floor Grid、Correction Floor、Motion Path 几个开关和 AI Motion Model 下拉菜单是清理工具。右栏是结果：穿灰色连帽衫和格子短裙的新角色跳着同一段舞，镜头还绕到了俯视和侧面，这些角度手机根本没拍过。底部的时间轴把片子分成多段。
William（@DLKFZWilliam2）把这段演示拆成了四步。下面按这个顺序讲，每一步给出可用的工具，并说明哪些步骤可以省。
用 AI 替换视频人物分哪四步？
- 1. 动作捕捉。 把视频里的人变成逐帧运动的 3D 人体（SMPL 或 SMPL-X 人体）。
- 2. 重定向与清理。 把动作转到你的角色骨骼上，修掉滑步和肢体穿模，导出成 3D 渲染或姿态、深度控制层。
- 3. 生成基座。 在 ComfyUI 里加载开放权重的视频模型 MiniMax H3。
- 4. 换人。 用角色图加 H3 Character Swap LoRA，让 H3 按原动作把人重新画成新角色。
开始前需要准备什么？
- 原视频：只有一个人，全身在画面内，遮挡尽量少。用你自己拍的，或你有权使用的素材。
- 角色参考图：一张清晰的新角色全身图，正面，服装完整可见。用你自己拥有或有授权的设计或 AI 生成角色，不用真人。
- 能跑 ComfyUI 的 GPU，本地或租用都行。所需文件和显存以 H3 与 LoRA 的模型卡为准。
- 第 1、2 步可选：一个单目动捕工具，加上做重定向用的 Blender。
第 1 步：怎样用 AI 把视频转成动作捕捉？
用 AI 从视频做动作捕捉，是指从单摄像头拍的普通视频里逐帧估计出 3D 人体，不需要动捕服或标记点。输出通常是一串 SMPL 或 SMPL-X 参数：身体姿态、体型，以及人在场景里的位置。下面几个开源工具的主要区别在许可证，以及是否把人体放进世界坐标系（镜头在动时这一点很重要）。
| 工具 | 能得到什么 | 许可证 |
|---|---|---|
| GVHMR | 从单个视频得到世界坐标系下的人体动作，针对运动镜头 | 仅限教育、研究和非营利用途 |
| TRAM | 从真实拍摄视频得到全局轨迹和人体动作 | MIT |
| WHAM | 世界坐标系下的人体动作；2024 年 4 月后未再更新 | MIT |
| 4D-Humans | 逐人跟踪与人体重建（HMR 2.0） | MIT |
用结果之前先做两项检查。第一，SMPL-X 人体模型及其同类模型有自己的许可证，和调用它们的代码分开算，商用前先读清楚。第二，视频哪里有问题，跟踪就在哪里出错：肢体出画、有人从前面走过、运动模糊严重。这些片段宁可剪掉或重拍，也不要指望后面修。
第 2 步：怎样重定向动作并修掉滑步？
重定向就是把捕捉到的动作从估计出的人体转到目标角色的骨骼上，两者比例可以不同。常见做法是把动作导出为 FBX 或 BVH，在 Blender 里重定向；Rokoko 的 Blender 插件能做这件事，要求目标角色摆成 T-pose。然后清理演示中栏里能看到的三件事：本该踩稳的脚在滑（绿色和橙色接地圆圈）、地面倾斜或太高（Correction Floor）、运动轨迹抖动。
清理好的动作就是生成时的控制信号。你可以把重定向后的角色直接渲染成 3D 视频，也可以逐帧导出姿态图和深度图，作为 ControlNet 式的控制层。加镜头运动也在这一步：动作进了 3D 之后，就能从原手机没拍过的俯视或侧面角度渲染，演示里环绕的镜头就是这么来的。
第 3 步：为什么用 MiniMax H3 做生成基座？
MiniMax H3 是在 Hugging Face 上开放权重的视频模型，采用 MiniMax H3 社区许可证。开放权重是这套流程能跑通的前提：你可以在 ComfyUI 里加载 H3 并挂上 LoRA，托管 API 做不到这一点。LoRA 模型卡把 Comfy-Org 重新打包的 H3 列为基座，并要求另外下载 H3 Ref2VA 基座模型、文本编码器和 VAE。
在 Makernice 上，MiniMax H3 支持文生视频、图生视频、首尾帧和参考图生视频（最多 5 张参考图），时长 5 到 15 秒，480p 和 768p 为原生，2K 和 4K 由 768p 上采样。它不接受视频输入，也不能挂 LoRA，所以换人这一步要在你自己的 ComfyUI 里跑。Makernice 能帮上的是前后环节：生成角色参考图，以及在花 GPU 时间换人之前，先用短镜头测试 H3 画你的角色效果如何。
第 4 步：怎样使用 MiniMax H3 换人 LoRA？
H3 Character Swap LoRA 用一张参考图里的角色替换原视频中选定的人。模型卡推荐 V1.5 版本、强度 1.0，用只作用于模型的 LoRA 加载器加载。原视频作为 <Video 1>、角色图作为 <Picture 1> 传入，再写清楚替换谁、新角色长什么样。作者的工作流会处理人物遮罩、采样和片段续接。提示词可以按这个结构写：
Replace the dancer in <Video 1> with the character in <Picture 1>.
Character: short black hair, gray hoodie, blue plaid skirt, white socks, brown loafers.
Keep the source motion, timing, gaze and camera move.
Keep the room, lighting and every other person unchanged.- 先跑短的。 按模型卡建议，从 24fps 的单个连续镜头开始，这个镜头没问题再加长。
- 写角色，不写动作。 动作来自原视频，提示词负责的是你要保留的脸、发型和服装。
- 加长前检查四项： 脸是否保持参考图的长相、手和手指、表情、片段之间的衔接。
- 如果角色又变回原视频里的人，用 V1.5 而不是 V1；模型卡的对比显示 V1 在部分镜头里会丢掉参考长相。
AI 换角色一定要做动作捕捉吗？
不一定。可以按下面这张表粗略判断第 1、2 步值不值得做：
| 原视频情况 | 只用 LoRA | 加上动捕和重定向 |
|---|---|---|
| 镜头稳定、单人、动作幅度中等 | 通常够用 | 可选 |
| 快速舞蹈、转身、肢体交叉 | 可能丢肢体或走样 | 有助于保持身体结构清楚 |
| 要原视频没拍过的新机位 | 做不到 | 必需：从新视角渲染 3D 动作 |
| 角色体型比例差别很大 | 身体可能被拉伸去贴合原视频 | 重定向到角色自己的骨骼 |
这套流程有哪些替代方案？
Wan2.2-Animate 是另一个开放权重的选择，它的替换模式能用一张角色图替换视频里的人，许可证是 Apache-2.0。如果不需要严格保留原视频的动作，也可以完全不用视频输入：先生成角色图，再用 MiniMax H3 的参考图生视频或图生视频，在提示词里描述动作。这样得到的是受原片启发的新片段，而不是逐帧换人。想逐镜复刻一条爆款视频，见如何用 AI 逐镜复刻爆款短视频。
版权和授权要注意什么？
只替换你自己拍的或有权使用的素材里的人，而且只有在表演者同意时，才把新角色放到他们的表演上。新角色只用设计出来或 AI 生成的虚拟角色，不用真人的脸或形象，也不要做出能被当成真人真实表演的片子。平台要求时，标注为 AI 生成。商用前把整条链路的许可证都查一遍：动捕代码、SMPL 人体模型、MiniMax H3 社区许可证，以及采用同一 H3 许可证的 LoRA。原视频里的音乐是另一项权利，把它静音或换成你有权使用的音频。
