Video2Game官网链接地址:https://video2game.github.io/
Video2Game 介绍
Video2Game是一项技术,能够将单一视频转换成具有实时、互动、真实感和浏览器兼容性的高品质虚拟环境。该技术通过建立大规模的NeRF模型,实现高质量的表面几何形状,并将其转换为支持交互的网格表示形式,同时使用UV映射的神经纹理,使其既能表达丰富,又与游戏引擎兼容。最终产生的虚拟环境允许虚拟角色与之互动,响应用户控制,并能够实时提供高分辨率渲染。
Video2Game用户群体
该技术适用于游戏开发、模拟器创建、机器人模拟和教育等领域。
在游戏开发中,可以利用Video2Game技术创建真实感射击场景;在机器人模拟中,可以使用该技术模拟机器人与物体的交互;在教育领域,可以利用Video2Game创建互动教学环境。
Video2Game的核心功能
- 导航花园花瓶场景 在花园花瓶场景中射击 在KITTI-360场景中收集硬币 在KITTI-360场景中椅子破碎 在KITTI-360场景中赛车和撞车 使用VRNeRF数据集进行机器人模拟 利用PyBullet的集成机器人逆运动学控制机器人手臂与周围对象互动