Reality Mixer
iOS混合现实应用
Reality Mixer让您可以使用iPhone或iPad捕捉您喜爱的VR游戏和应用程序的混合现实画面,无需电脑,也无需绿幕。
点击此链接从App Store获取,或按照以下说明使用其他方法安装。
在Twitter上关注我们以获取更多更新!
注意!
在发布使用Android 12的51版本后,Quest 2/3/Pro上的混合现实捕捉功能已损坏。常规混合现实捕捉校准应用无法再保存校准!
如果您仍想尝试使用该应用,请确保使用SideQuest安装SoapyMan的校准应用,并使用此应用代替常规混合现实捕捉校准应用。此应用将请求适当的权限以保存校准。请注意,大多数Quest应用不再支持混合现实捕捉。
访问此链接了解更多信息。
如果您是开发人员,且混合现实捕捉在您的Unity应用中不再工作,请确保在Android清单文件中添加以下内容:
<uses-native-library android:name="libOVRMrcLib.oculus.so" android:required="true" />
功能
- 无需绿幕的混合现实捕捉(使用ARKit的人物分割)。
- 虚拟形象(使用ARKit的身体跟踪)和Ready Player Me虚拟形象。示例。
- "AR"模式。示例。
- 移动摄像机。示例。
- 观众摄像机。示例。
- 使用绿幕的混合现实。示例。
示例
如何使用?
你可以在此页面找到使用说明和教程。
注意! 在发布51版本(使用Android 12)后,Quest 2/Pro上的混合现实捕捉功能已损坏。你需要使用SideQuest执行额外步骤。你可以在这里阅读这些步骤。
要求
- Oculus Quest 1或2,或Meta Quest Pro,安装了1.7版本的Oculus MRC校准应用。
- 虚拟绿幕和头像:搭载A12芯片或更新芯片的iPhone或iPad,运行iOS 14。LiDAR传感器是可选的,但建议使用以获得更好的效果。
- 绿幕和观众:运行iOS 14的iPhone或iPad。
- 5 GHz WiFi网络(802.11ac)。
- 兼容的Quest VR应用/游戏。
兼容的应用/游戏
该应用目前仅兼容Oculus Quest 1和2,以及Meta Quest Pro,请查看此链接获取兼容游戏/应用列表。
安装
App Store
AltStore
-
按照这些说明在你的PC或Mac上安装和配置AltServer,然后在你的iPhone/iPad上安装AltStore应用。
-
在你的iPhone/iPad上打开相机应用并扫描此二维码:
或者
- 在你的iPhone/iPad上打开此URL:
altstore://install?url=https://github.com/fabio914/RealityMixer/releases/download/0.6.0/RealityMixer.ipa
Xcode
要使用你自己的开发者账号构建应用,请在RealityMixer/
目录下创建一个DeveloperSettings.xcconfig
配置文件,包含你的开发团队标识符和组织标识符:
DEVELOPMENT_TEAM = 你的团队ID
ORGANIZATION_IDENTIFIER = com.你的公司
待办事项
-
调查音频延迟问题;
-
改进校准界面并修复控制器模型的定位;
愿望清单
这些是未来可能实现的功能:
-
为 Quest 创建自定义校准应用,以替代 Oculus MRC 应用,允许用户在 VR 中进行校准;
-
允许用户调整混合现实捕捉的视野;
-
允许应用程序投射视频输出(虽然如果长按"控制中心"上的"屏幕录制"按钮,然后选择流媒体应用,应该已经可以实现);
-
Android 版本;
致谢
本项目使用 SwiftSocket 处理与 Oculus Quest 的 TCP 连接,使用 Apple 的 VideoToolbox 解码流媒体,以及使用 ARKit 实现"虚拟绿幕"。其视频解码器基于 zerdzhong 的 SwiftH264Demo。
Reality Mixer 的旧版本还使用了 FFMPEG,以及来自 Oculus MRC plugin for OBS 的代码。
右手和左手控制器模型是 WebXR Input Profiles 中 oculus-touch-v3
模型的修改版本。
本项目还使用了来自 Notification Sounds 的音效和来自 Ready Player Me 的头像。