虚拟现实和增强现实头盔可以提供令人兴奋的数字体验,但你很难向一个没有用过头盔的人描述它,因为他能看到的只是现实生活中的真实东西,以及一个戴着头盔的书呆子。
微软明白,HoloLens头盔就面临着这样一个问题。因此,该公司为HoloLens用户(特别是HoloLens应用开发商)提供了一种从HoloLens录制视频的新方式。在最近访问华盛顿州雷德蒙市的微软HoloLens实验室时,我观看了一个HoloLens演示,房间里安装着一个特殊的摄像头;然后我可以查看自己与小型数字机器人交互的视频。
微软的这个“观众视图”平台需要把硬件和软件结合起来,微软已经把它作为一个开源解决方案发布在了HoloLens GitHub网页上。开发者制作一个真实的使用视频变得更容易了,不仅可以展示一个HoloLens应用,还可以展示用户与这个HoloLens应用进行的互动。
你可能觉得这是很小的一步,但对于头显设备来说,这是在朝着正确的方向前进。而且,VR和AR公司不仅仅是在应用分享上面临技术挑战,这件事还涉及到了伦理边界——有时他们要依靠特效而不是“真实的”视频来传达应用的意图。
HoloLens是一个Windows 10 PC,只不过可以戴在头上。这是一个漂亮的头显设备,而且它是无线的,因此你在玩应用的时候可以在房间里移动。它有全息透镜,四个不同的摄像头,除了CPU和GPU之外,还有一个特殊的全息处理单元。
VR把你包罗在一个完全虚拟的世界里,而HoloLens属于“混合现实”,让你既看到周围的真实世界,也能看到数字对象 。到目前为止HoloLens最受诟病的地方就是它的视野很小:它有那么大的镜头,漂浮在你的眼睛前面的东西感觉却很小。在某些情况下,你甚至会觉得应用好像被切掉了一些。
然而,使用HoloLens时,你可能会看到3D建模应用Maya中的三维摩托车,看到宇航员站在你的房间里谈论火星器官,在Skype聊天框中看到朋友的脸。沃尔沃的应用还可以让你选择新车的颜色,并让你看到真车等高的样子,诸如此类。
但对于应用开发商来说,向人们展示这些应用已经成为了一个挑战。 HoloLens有一个内置的摄像头,可以从头盔佩戴者的视角录制视频,但画质很低。而且由于摄像头是向外的,它不能录下HoloLens佩戴者的反应。微软已经有自己的内部设备,用来制作HoloLens的宣传视频,但它使用的Red Dragon摄像头价格从1.5万美元到5万不等。可能也就是微软这样的公司用得起。
微软HoloLens的业务战略负责人本·里德(Ben Reed)说,“混合现实录制和手机上的摄像头差不多。 它很方便,相对于它的设计初衷来说,效果也很好,但它的画质不是你想在电视上看到的那种画质。我们意识到得找到另一种方式,向其他人展示头盔佩戴者看到的东西。”
另一方面,“观众视图”则需要一个带有HDMI输出的摄像头(款式较新的GoPro也可以)首先,你把HoloLens安装到摄像头上,用三脚架固定。这需要使用定制的安装架。然后将HoloLens无线连接到PC——这不是为了共享视频,而是要共享定位数据。在我们看到的演示中,微软在这台PC上运行的是Unity游戏开发软件。
下一步是通过HDMI线将视频从摄像头输出到PC撷取卡上。这时PC就既接收定位数据,又接收视频了。所有数据的渲染和处理是在Unity软件内部完成的。视频中会看到用户戴着HoloLens头盔在房间里走动,但也可以看得到应用、数字对象和用户在玩的游戏。
当然过程并不是那么轻而易举,你仍需要定制加工或3D打印安装架。还要有一个特殊的校准软件,微软会发布它的代码。 PC必须满足运行Unity的最低要求,而且你还无法录制音频。
但如果你已经在HoloLens头盔上投资了3000美元,并且在认真开发你的混合现实应用,这可能只是小事一桩。其他VR和AR录制技术同样复杂。要录制VR头戴式显示设备(如Oculus Rift或HTC Vive)的视频,你可以使用Bandicam这样的屏幕录制应用。但在虚拟世界中显示一个真实的人是很复杂的事情。在某些情况下,你可以在绿色屏幕前播放VR游戏,将运动感应控制器连接到摄像头上,对游戏进行屏幕录制,然后运行合适的软件,把人放置在虚拟环境中。
微软的里德再三提到,这个新工具是现有HoloLens客户的一个需求。他们的问题常常会变成:你如果拼拼接接,把视频做成了特效,它怎么能代表这个应用的实际水平呢?这是一条伦理红线,佛罗里达州那个行事诡秘的AR初创公司Magic Leap似乎就在这个问题上越过了红色。有报道说,它至少有一个AR演示视频实际上是由新西兰顶级的视觉效果工作室制作的。
Trimble是一家使用定位和扫描技术来开发应用的公司,它“从第一天”就在寻找这样的工具。
“我们有采矿业的客户,我们在寻找能够让矿山可视化的东西。” Trimble公司混合现实项目主管Aviad Almagor说: “过去,我们不得不说,‘嘿,我们要呈现的不是真正在HoloLens里看到的东西,我们用了点特效。’我们不得不调整用户的期望。但现在,我们可以用观众视图让客户看到‘直播’了。”
目前还不清楚世界上有多少HoloLens用户。微软只说销售量“数以千计”。所以这个新的视频工具只有数量相对较少的用户才会使用到,并不像PC更新或智能手机摄像头更新那样影响面巨大。但在增强现实、虚拟现实和混合现实正在快速发展之际,它至少提供了一个机会,让用户制作出更真实、更好的视频。