为了达到这样身临其境的效果,Fragments融合和发挥了HoloLens的哪些先进技术?
Fragments(碎片)是微软为混合现实设备HoloLens量身打造的探案游戏,让玩家以第一视角化身侦探,把玩家的房间变为犯罪现场。NPC甚至可以坐到玩家的沙发上,看着玩家的眼睛进行对话。
为了达到这样身临其境的效果,Fragments融合和发挥了HoloLens的哪些先进技术?今天我们就来给大家揭秘一下SLAM与Spatial Mapping这两大利器。
SLAM技术:全息影像不再是科幻
相比于传统游戏通过拖动鼠标来旋转视角,Fragments的玩家可以在现实空间中移动自己的脚步,从各个角度来观察游戏角色和犯罪现场。HoloLens能够实现这样稳定、生动的全息影像,与它的 SLAM(Simultaneous Localization And Mapping)实时定位与地图构建技术 密不可分。
SLAM可以深度记录并识别空间内的物体,准确判断HoloLens使用者所处的位置,将虚拟的3D模型固定在现实空间中。不论玩家如何移动自身位置,看到的画面都是稳地“钉”在原地,不会出现抖动。同时,微软SLAM技术的精确性赋予了HoloLens更大的发挥空间。Fragments利用动态动画和SLAM技术,不仅能够判断玩家所处的位置,甚至能够感知玩家眼睛所看的方向,让NPC可以注视着玩家的眼睛对话,大大提升了游戏的真实度和紧张感。
Spatial Mapping:感知真实的空间
进入游戏时,Fragments会指引玩家扫描所处的整个房间,通过实时建模的数据结合环境摄像头的空间渲染,根据玩家的房间生成相应的场景。比如在玩家的墙上挂一面别有深意的镜子,或者将重要线索藏到家具后面。
要判断房间内各物体表面,理解空间布局从而加以利用,这就不得不说到HoloLens的Spatial Mapping空间扫描技术。该技术主要实现了5个功能:
1. 导航:通过判断所处空间,NPC和玩家可以在房内自由走动。
2. 放置:将虚拟物体放置在现实物体之上,比如在墙上挂一面镜子,或在桌上放一部电话。
3. 可视化:让空间的表面可视不仅可以指引玩家行动,还可以展示隐藏的空间。
4. 遮挡:既允许全息影像遮挡实物,也允许实物遮挡全息影像。当虚拟物体被放置在现实物体之上时,可以自然地融为一体。而要实现将线索藏到家具后面的效果也不是难事。
5. 现实互动:通过判断物体表面来模拟更真实的互动,比如软软的沙发和坚硬的地板会带来不同的效果。
SLAM + Spatial Mapping:私人订制的叙事体验
当SLAM + Spatial Mapping 两项技术结合在一起,就实现了开头所说的,Fragments不仅可以找到房间里的沙发,还让NPC坐到玩家的沙发上,注视着玩家的眼睛。甚至当罪犯走近,玩家能切实感受到“凶手就在我家”所带来的恐惧。结合混合现实与全息影像,极度个人化的游戏场景带来前所未有的真实感,让每个玩家的体验都是“私人订制”。
除了游戏领域本身,HoloLens对于真实空间的感知和利用在其他领域也有很大的应用前景。比如室内设计师可以扫描自己的房间,任意选择地板和装饰物,改变家具颜色。学生可以“穿越”历史,置身历史场景之中,获得更深刻的体悟和思考。
当我们畅想HoloLens在游戏、工业、设计、教育等领域中的应用,Fragments中这些已经实现的全新叙事体验,让我们感到未来并不遥远。