? Oculus Insight内向外追踪技术的起步、发展与未来_CQITer_重庆IT人之家 yabo10.com亚博体育,亚博娱乐在线网站,亚博国际娱乐7171 ?

Oculus Insight内向外追踪技术的起步、发展与未来

VR硬件原本需要通过数据线接入PC,直到Facebook工程团队发现了一种剪掉线缆的方法。

Oculus Insight内向外追踪技术的起步、发展与未来

当安娜·科兹明斯基(Anna Kozminski)于2018年作为软件程序工程师加入Facebook的时候,她的任务十分简单:剪掉VR设备的线缆,这样无论何时何地,任何人都能够戴上头显并马上沉浸在虚拟现实世界中,无需外部追摄像头来捕获环境。

安娜指出:“我们希望构建一个允许你像真实世界那样自然轻松地在VR世界中移动,并且能够在里面进行自由探索的系统。”

对于安娜加入的团队,其使命是为消费者VR设备开发首个功能完备的“内向外”追踪系统。这项技术将能够追踪用户的完整运动范围(亦即六自由度),同时可以精确地定位头显和两个运动控制器的位置。

VR设备原本需要利用外部传感器来追踪所述的运动。用于实现追踪的摄像头接入PC,而尽管这是可行的方案,但降低了VR的便携性和增加了设置复杂度。

安娜表示:“借助头显的内向外追踪,步入VR就像戴上耳机听音乐一样简单。”

但团队的使命远非易事。他们必须将研究实验室中最先进的计算机视觉技术带到任何人都可以使用的消费设备。追踪需要精确到低于1毫米,需要足以捕获头部的微妙倾斜或手部的短暂快速闪动。它必须足够强大,可以满足现实世界家庭中的几乎所有条件。它同时必须足够高效,可以依赖于电池来实现功能。

Oculus Insight内向外追踪技术的起步、发展与未来

Oculus?Quest是第一款内嵌全六自由度追踪和双控制器追踪的头显设备。

为了实现这一点,安娜及其团队利用计算机视觉和自研算法来生成用户周遭环境的实时3D映射,这样头显就能够计算你所在的位置并将其传至虚拟现实世界。

Facebook将这个系统称为Oculus Insight。它使得全新的Oculus Quest和Rift?S头显成为可能。日前,这家公司撰文介绍了苏黎世、门洛帕克和西雅图工程师团队将这项技术变为现实的过程,下面是映维网的具体整理:

Oculus Quest头显中的摄像头和追踪传感器

1. SLAM

Oculus Insight内向外追踪的基础是SLAM(即时定位与地图构建),它主要通过计算机视觉CV算法来融合来自多个传感器的输入数据,从而在不断更新的数字映射中确定对象的位置。SLAM早已用于机器人技术和智能手机中的AR相机效果,而Facebook也在2016年通过Santa Cruz VR头显原型进行了演示。但Oculus Insight需要前所未有的精度和效率,这意味着它需要适配最新的追踪技术和计算机视觉。

“大多数技术都是从学术开始,源于实验室。”安娜如是说道。她加入Facebook苏黎士的工程团队不是偶然。实际上,这里的大多数成员都是来自于研发自动导航系统的Zurich Eye项目(由着名学院苏黎世联邦理工学院和苏黎世大学组织)。

为了构建更先进的SLAM,工程团队借鉴了Facebook多年来在人工智能方面的研究工程工作,构建用于理解视频中出现的对象和行为的系统,并且开发了能够支持移动设备的高效计算机视觉算法。

2. 应用于前沿VR设备

奥斯卡·林德(Oskar Linde)是Facebook团队中负责Oculus Insight的首席机器感知架构师,他在构建超高效SLAM系统方面有着丰富的经验。林德是13th Lab的联合创始人,后者曾于2011年首次展示了用于消费者应用的视觉SLAM技术(用于AR手游)。Facebook于2014年收购了13th Lab及其SLAM技术,而林德顺势加入公司并负责开发VR头显的内向外追踪功能,同时组建了开始专研Oculus Insight的团队。

2017年的Oculus Insight团队正在全心全意地投入到工作之中,但他们面临着一个核心挑战:创建基于SLAM的精确和高效算法,并且足以支持Oculus Quest等移动设备。林德的搭档是工程经理乔尔·赫胥(Joel Hesch),后者的研究项目是将基于视觉、激光和惯性传感器的SLAM技术用于辅助机器人导航,同时致力于移动AR和VR应用。来到Facebook的赫胥主要是负责把Oculus Insight整合至Quest和Rift S的工程团队。

Oculus Insight的工作原理

林德、赫胥、安娜,以及他们的团队鉴了Facebook之前用于移动AR的SLAM工作,以及初代Oculus Rift系统中的追踪技术,但他们需要寻找新的方法来调整设计它们,从而能够支持VR头显实现内向外追踪。

在智能手机端,SLAM利用手机摄像头创建“世界锁定”的照片和视频效果。但对于VR,这涉及多个摄像头,额外的传感器,以及需要在三维空间中追踪的三个不同对象。

安娜解释说:“我们一次性需要解决三个移动组件:头显,以及两个额外的控制器。我们每一次都需要获取正确的姿态。”

相关推荐
新闻聚焦
猜你喜欢
热门推荐
亚博娱乐在线网站
Ctrl+D?将本页面保存为书签,全面了解最新资讯,方便快捷。