暴风魔镜移动空间定位+手势识别VR/AR 技术demo展示

12月20日,正值今冬北京雾霾最重的日子之一,暴风魔镜在北京举行了新品发布会,推出了VR一体机产品魔镜Matrix,售价2499元;同场还推出了新款插手机的Cardboard产品魔镜S1,售价199元。在发布会的最后还发布了暴风魔镜一直在研发的移动空间定位+手势识别一体解决方案。

硬件上这是一款多摄像头模组,支持手机和一体机。它拥有6自由度inside-out追踪功能,同时有26自由度的手势识别以及3D建模算法。
现场暴风魔镜交互技术负责人古鉴介绍了这个模块的应用,包括空间定位和手势交互。有了这个模块,用户在现实世界的走动也会转化为虚拟世界的走动。

移动端(手机版)inside-out的空间定位方式在VR使用有很多难点要解决。一般inside-out的空间定位采用的是SLAM(即时定位和建图)或VO(视觉里程计)技术。目前,主流视觉传感器能获取的图像帧率只有30fps,为了保证实时性和帧率,必须要借助更高频率的IMU辅助。这就涉及到多传感器融合技术,将视觉获得的信息与IMU获得的信息进行融合处理,最终得到6Dof的位姿。一般来说,移动端inside-out的空间定位的难点有以下几点:

1、计算能力。手机的计算能力有限,但SLAM/VO技术的计算量很大。

2、功耗大和发热发烫问题,长时间的高效计算会导致手机的发热甚至进一步导致手机的降频。

3、快速移动和旋转导致追踪的稳定性问题。

4、延时问题,需要视觉和IMU融合处理的很好,才能利用IMU的高频输出达到精确稳定追踪和低延时。

另外,将移动空间定位,手势识别和三维重建技术打包成一体解决方案,无论是对硬件和软件算法都有比较高的要求。硬件层面,Inside-out的位置追踪标配硬件一般是像Tango的的鱼眼+IMU硬件模组,而手势识别效果比较好的是像Leap Motion 的双目鱼眼的红外成像硬件方案,三维重建目前主流采用的硬件方案则是双目RGB或Tof传感器。不同技术对硬件要求不同,这将导致一体硬件解决方案必须要做出取舍;软件算法层面,每项技术都是视觉相关,因此计算量都很大,且对算法的精度和实时性(三维重建很难做到移动端实时,离线是首选)有较高要求。
snapshot20161221104708

位置追踪太空漫游1

snapshot20161221104734

位置追踪太空漫游2

snapshot20161221104757

手势识别1

snapshot20161221104804

手势识别2

关于第一个VR demo,空间定位还算比较流畅,稳定,没有明显的抖动和漂移,应该是融合视觉和IMU。但是demo 展示没有展现出快速运动和旋转时的效果如何。手势识别中手掌展开,抓取,移动和再展开识别还算准确。但是展示的手势识别种类很有限。

这款模组还可以实现AR/MR功能,类似HoloLens那样对环境进行扫描建模,并将3D物体与现实世界融合。第二个demo展示的是三维重建和空间定位技术。从发布会的视频来看,虫洞贴合在墙面上,有两只虫子分别在桌面和墙面上爬行,应该是事先对场景进行了扫描重建,然后进行空间定位。

snapshot20161221105227

虫洞门贴合墙面

snapshot20161221105238

虫子在桌面上爬行

snapshot20161221105253

虫子在墙面上爬行

从发布会透露的信息来看,发布的视频更多的是技术demo的展示。不过可以看出,暴风魔镜在移动端inside-out空间定位、手势识别和三维重建已经有一定技术积累,并在一体化解决方案方向进行了初步尝试,希望能在不远的将来,能看到成熟的产品展示。(作者:SLAMER)

Add a Comment