动作捕捉融合 [VR] 是一款沉浸式房间级动作捕捉沙盒工具，专为希望使用常规 VR 硬件创建并导出动作捕捉动画或制作实时内容的艺术家和动画师设计。用户只需一个 VR 头显和两个控制器，即可为自己的虚拟形象制作动作捕捉。高级用户可以创建更详细的动作捕捉，包括全身追踪，并可与其他传感器（例如 Apple iPhone Truedepth 传感器和 Oculus Quest 2 光学手指追踪）结合使用，将虚拟形象与同步输入连接起来。这种多传感器融合可以在单次拍摄中组合多层动作捕捉数据，包括：全身追踪、面部捕捉、口型同步、视线追踪、光学手指追踪。 亮点 使用自定义虚拟形象、场景和道具录制动作捕捉。…
动作捕捉融合 [VR] 是一款沉浸式房间级动作捕捉沙盒工具，专为希望使用常规 VR 硬件创建并导出动作捕捉动画或制作实时内容的艺术家和动画师设计。用户只需一个 VR 头显和两个控制器，即可为自己的虚拟形象制作动作捕捉。高级用户可以创建更详细的动作捕捉，包括全身追踪，并可与其他传感器（例如 Apple iPhone Truedepth 传感器和 Oculus Quest 2 光学手指追踪）结合使用，将虚拟形象与同步输入连接起来。这种多传感器融合可以在单次拍摄中组合多层动作捕捉数据，包括：全身追踪、面部捕捉、口型同步、视线追踪、光学手指追踪。
亮点
- 使用自定义虚拟形象、场景和道具录制动作捕捉。
- 添加自定义着色器、纹理、表情动作、DynamicBone 物理效果等。
- 支持 Vive Pro Eye、Vive 唇部追踪以及 iPhone ARKit 面部捕捉。
- 支持 HTC Vive、Valve Index、Oculus Rift、Oculus Quest 2 及部分 WMR 头显。
- 可在无 VR 设备、仅使用追踪器或仅使用 iPhone 头部追踪的情况下使用。
- 在场景中添加多个虚拟形象，构建故事板，并对其他预录制的虚拟形象做出反应。
- 摄像机动作捕捉和变焦功能，玩家可在 VR 中担任摄影师。
- 提供垂直起降（VTOL）和固定翼飞行模拟载具平台，用于航拍镜头。
支持的输出格式- 导出至 SFM (.dmx)。
- 导出至 Blender (.blend)。
- 导出至 Unity (.anim)。
Live-Link（实时制作）和实时录制插件- 提供适用于 Unreal Engine 的 Live Link 插件 （实时虚拟形象同步、实时录制）。
- 提供适用于 Blender 的 Live Link 插件 （实时虚拟形象同步、实时录制）。
- 提供适用于 Unity 的 Live Link 插件 （实时虚拟形象同步）。
包含自定义虚拟形象并在整个制作工作流程中使用该形象。这消除了重定向的需要，并确保动作捕捉数据始终 1:1 匹配，不会在最终结果中产生任何偏移。
Mocap Fusion 的独特功能之一是它能够导出动作捕捉数据并在 Blender 中重建场景，使其在几分钟内即可用于最终渲染。
兼容头显 (VR HMDs)- Valve Index
- HTC Vive （及 Vive Pro Eye）。
- Oculus Quest （1 和 2）。
可选追踪硬件- SteamVR Vive 追踪器。
- iPhone Truedepth 传感器 （面部捕捉和眼球追踪）。
- Oculus Quest 2 （全光学手指追踪）。
功能 - 导出动作捕捉并在 Blender™ 中即时创建场景。
- HTC™ Vive 追踪器（最多 11 个可选点位）全身追踪。
- 能够在 VR 中录制、播放、暂停、慢放、 scrub 动作捕捉数据。
- 可自定义的 IK 配置文件和虚拟形象参数。
- 支持 SteamVR Knuckles 控制器以实现独立手指关节运动。
- Quest 2 光学手指追踪应用，用于实现独立手指关节运动和手指分离。
- 支持 Vive Pro Eye 眨眼和视线追踪。
- Sidekick IOS 面部捕捉应用（Truedepth 无标记 AR 面部追踪）。
- 用户可使用 APS_SDK 构建用于动作捕捉的自定义世界、虚拟形象和道具。
- 兼容现有的 Unity3D™ 虚拟形象和环境。
- 支持在动作捕捉虚拟形象上使用自定义着色器。
- 支持 DynamicBone，为虚拟形象添加头发、衣物和身体物理模拟。
- 呼吸模拟，增加胸部动画效果。
- 添加/录制/导出 VR 摄像机，实现逼真的摄像机动作捕捉（例如 VR 摄影师效果）。
- 优化导出至 Daz 3D 的动作捕捉 (.bvh) 数据。
- 放置“流媒体”摄像机，用于将虚拟形象直播到 OBS 或作为桌面叠加层。
- 麦克风音频录制，支持口型同步视位音素和可录制的下颌骨旋转。
- 故事板模式，将动作捕捉体验保存为页面，以便稍后回放或编辑。
- 动态分镜视频播放器，展示故事和脚本，编排动作。
- 双持武器 IK 解算器，用于自然处理卡宾枪。
- 可录制的垂直起降（VTOL）平台，用于制作直升机飞行模拟动画（例如新闻直升机）。
- VR 摄像机和 VR 自拍相机可与追踪器刚性链接。
- VR 道具和枪支可与追踪器刚性链接。
- 幽灵曲线，用于可视化场景中多个虚拟形象的未来位置。
游玩方式体验效果取决于用户的 PC 性能和所使用的追踪硬件。推荐的
SteamVR 头显是 Valve Index 或 HTC Vive。Quest 头显也能产生不错的效果。
也可以在不使用头显的情况下使用该软件（例如进行直播时）。 只有在使用脚部和臀部追踪器（以及可选的手肘、膝盖、胸部追踪器）时才提供全身追踪功能。使用身体追踪器时，用户可以获得更逼真的追踪结果。身体追踪器是可选的，并且支持站立动作捕捉。通过启用面部捕捉或使用 Vive Pro Eye 进行视线和眨眼追踪，可以在兼容的虚拟形象上进一步提升真实感。
历史最初，该项目旨在为用户提供一种直观的方法，在沉浸式 VR 环境中创建虚拟培训视频和演示文稿，以增加真实感，然后导出其动画进行渲染。该项目向社区开放了 beta 测试，此后收到了反馈和许多功能请求，这有助于增强软件对各种不同创作者的实用性。
