MR大牛深度拆解Vision Pro:它代表了行业的下个十年,中国厂商差距多少
Vision Pro的一小步,是MR(混合现实)产业的一大步。
2月2日,随着首批用户陆续拿到Vision Pro,秀出的花式体验以及网络上围观人群的好奇,未来虚拟世界和现实世界的交融多了一丝实感。
Vision Pro作为苹果公司研发多年的产品,集中了显示、芯片、交互领域大量的核心技术,打造出一个超能力的MR产品。这款产品在诸多技术上走在前列,苹果也尽其所能为消费者带来更好的体验。
在Vision Pro上市之前,各方对它从硬件到软件都有全方位的研究,随着Vision Pro上市各路拆机,业界更是清晰看到了Vision Pro采用的新技术。如果说之前各类VR(虚拟现实)产品更多是侧重于游戏类的“玩具”,那么Vision Pro有极大可能开启MR作为通用计算工具的时代。
Vision Pro主要部件拆机图 来源 iFixit
Vision Pro显示输出做到虚拟和现实的无缝衔接
Vision Pro在光学显示上的技术突破这次备受关注,其带来的高清晰度可以做到让视频或图片有真实现场感,从而让眼睛信以为真,混淆虚拟和现实世界的边界。
从拆机视频看,为了更好的显示效果,Vision Pro用了两块4K清晰度的Micro OLED屏加上玉晶光电的3P Pancake方案,带来了难以置信的锐度和清晰度。
4K是二维显示的清晰度,如果放在三维显示领域,虚拟屏幕清晰度也差不多接近于人眼的极限,这在显示上突破了一个阈值。
在三维显示里,分辨率的单位用PPD(Pixels Per Degree),意思是视野的每一度里面有多少像素。
XR天使投资人、猫眼电影创始人、真格基金投资合伙人徐梧表示,Meta Quest2的分辨率是20PPD,就是指每一度里面有20个像素。20PPD,用户会明确分辨出现实和虚拟世界的差异,再加上机器性能的限制,一体机通过卡通渲染带给用户视觉冲击也相对有限,用户会觉得挺有趣,但并不会很震撼。他对这个阶段的显示效果定义为立体感。
“人眼的极限是60PPD。而Vision Pro 是40PPD,一定程度已经接近人眼极限。同时,Vision Pro采用的是OLED屏幕,这意味着更丰富的色彩和亮度。此时将会发生一个巨大的质变,用户可能无法区分现实和虚拟。”徐梧表示,在40PPD下,虚拟屏幕的显示质量已经几乎相当于4K显示器的效果,这意味着虚拟屏幕头一次可以和实体平面显示器正面PK。
Vision Pro 4K清晰度的Micro OLED显示屏,两块价格700美元
为了达到这个效果,苹果也花费了巨资。据第三方评估,Micro OLED屏价格昂贵,两块屏价格在700美元,在 Vision Pro的零部件成本中占比超40%,也是最大的成本。Micro OLED屏交给台积电代工,索尼公司供应材料。
AR眼镜创业公司奇点临近在Vision Pro发布后就对其进行了全面的技术评估。奇点临近CTO万美君(Paul Wan)接受澎湃新闻记者采访时表示:“苹果沉浸式显示这块是花了大力气的,为了更好的效果,双目4K的沉浸式显示,是苹果耗费巨资打造,沉浸感超出目前行业一大截。”
这次Micro OLED屏相当于苹果定制的,且良率不高,因此在产能上还有诸多限制。曾有外媒报道称,索尼在提供产能上有些吃力,苹果曾经提出希望提供一百万Micro OLED屏,但索尼表示做不到。
不过,苹果Micro OLED屏走在前面,中国多家Micro OLED屏供应链紧跟在后面。京东方、视漄科技等屏幕供应商在技术上有突破。
PICO也是MR一线大厂,其技术路线与苹果非常接近。PICO OS产品负责人马杰思接受澎湃新闻记者采访时表示,苹果通过Micro OLED屏解决了MR屏幕输出问题,过去VR产品作为游戏工具是成功的,但作为更通用的工具其显示质量是不过关的。
当一台MR可以带来如此高的清晰度,虚拟屏幕融入现实世界已经不那么“违和”,变得“丝滑”,可以达到亦幻亦真的交融感。
空间建模以及强大芯片处理能力
作为一名CTO, 万美君非常关注并且推崇这次Vision Pro空间建模这块的突破。
“空间建模,3D建模这块以及这个位置感知苹果也是花了大力气的,主要体现在两个方面,空间3D建模及空间定位。”万美君表示,空间位置和环境感知上这次苹果做了非常多的工作。
为了捕捉这些信息,Vision Pro用了整整12个摄像头。
“你的摄像头需要做到软硬件同步,你的拿到数据是完全同一时刻的,那么拿了这些数据需要做拼接,因为每个摄像头的画幅是有限的,而且需要一个高帧率的情况下去完成运算,至少要保证120帧甚至更高,这为了防止在佩戴时出现眩晕感,所以这个对它的硬件处理芯片提出了更高的要求,这次苹果出了R1芯片专门去处理摄像头相关的运算和定位。”万美君说道。
这次Vision Pro用了两块苹果自研的芯片M2和R1,M2芯片是苹果用在笔记本电脑上的芯片,其性能强悍不用多介绍。M2处理器主要负责运行visionOS,执行先进的计算机视觉算法等。苹果R1协同处理器则主要负责处理来自12个摄像头,5个其他类型传感器,6个麦克风的数据信号,加速对于传感器数据的处理,降低延迟,以保证内容呈现实时性,并降低主CPU的负载,降低功耗。
PICO产品经理胡熙坤接受澎湃新闻记者采访时也谈到了芯片处理能力对产品性能的重要性。
“这个芯片它保证了低延时和低带宽的运行,这其实是非常重要的一个指标了,苹果官方宣称是12毫秒,那这个12毫秒你就能够带着那个东西全天使用,并且不妨碍你去做日常生活中其他事情,这个是非常重要的。”胡熙坤表示,今天Vision Pro带来诸多的体验都是苹果长期在消费电子领域的积累沉淀,有些技术当初并不是专门为Vision Pro储备,而是用在其他产品线上,这次拿到了Vision Pro上来使用。
胡熙坤认为,在空间建模这块其他厂商与苹果还有一定距离,这次看了Vision Pro效果后,大家应该都会在这一领域加大力气去做。
万美君对其他厂商跟进空间建模上展现了自己的乐观判断,“中国厂商在算法上其实并不比苹果差多少,比如很多自动驾驶领域也用了大量类似的技术。”
扔掉手柄改用手势识别和眼球追踪
如果说这次Vision Pro是带来了一场显示输出的重大革新,那么输入端的创新同样值得称赞。
以往VR产品的手柄被扔掉了,而是采用了眼球追踪、手势、语音等多种融合式交互方式。由LED和红外摄像头组成的眼动追踪系统,可以将不可见光图案投射到每只眼睛上,能够判断用户当前注视的位置。这使得用户无需使用手柄控制,只需通过注视来浏览应用图标,轻点选择,轻扫滚动,或者发出语音指令即可操控。
胡熙坤表示,PICO 4 Pro上也用了眼球追踪和手势识别技术,对技术方向的认定大家都没有分歧。
“苹果的技术都是长期积累的效果,苹果2017年收购德国SensoMotoric Instruments(SMI),这次把领先的眼球追踪技术储备给了VR产品线。”胡熙坤表示,PICO也坚定看好这一技术,会持续投入。
有些事情交给苹果来说更为合适,强大的品牌号召力加上高净值用户,使得苹果在推广新技术应用时相对容易。
“手势交互这件事情要做得很好,也是要有条件的,其他品牌可能不具备这样的定价能力,手势交互需要的硬件周边都相对较贵。我们更加倾向于用一个亲民的成本去完成一件事情,所以更多以摄像头算法的迭代,但对苹果来说,不止是算法,它的摄像头阵列针对手势都做了很多增强的,这导致它成本非常贵。”胡熙坤说,苹果这样做把业界未来三四年想要的东西提前呈现了出来。
扔掉手柄的好处是非常明显,这拓展了MR产品的边界,从以往主要在特定场景中使用,到现在走出特定场景,到更多日常生活场景去佩戴和体验。
这几天,不少用户分享了花式Vision Pro体验,例如地铁公交上使用,之所以能够这样在公众场所佩戴是因为产品还有另一功能,与虚拟现实畅游时随时可以回到现实世界与周边的人交流。
Vision Pro外屏EyeSight外屏内部
一旦有其他人对你对视,你瞬间就可以看到对方,Vision Pro外屏EyeSight显示屏也看到你的脸和眼睛。当然,看到的人脸是虚拟的,空间建模虚拟出来的人脸。
Vision Pro会通过内部摄像头和传感器生成你的人脸,然后VisionOS会将人脸“切片并插值”,接着渲染在EyeSight显示屏上,图像通过一层透镜再通过一层镜片,最终实现3D人脸图像的视觉效果。
“这就很苹果,其他厂商可能不会这样做,但苹果产品往往为了人性化的体验,去做这些事情。”胡熙坤表示。
胡熙坤表示,对MR来说,通过摄像头VST(视频透视)而非光学镜片来捕捉外部现实世界信息这个技术方向也是确定的,“我们也看到佩戴Vision Pro的用户在把球抛向空中接球游戏体验跟现实世界玩这个游戏效果差不多,这也意味着通过摄像头视频传出的时延是可以接受的。”
在马杰思看来,苹果Vision Pro完成了输出、输入以及交互的重大革新,这也意味着MR产品形态完成了一次蜕变,跻身通用算力工具的行列,与笔记本电脑、手机、平板电脑等相提并论,可以成为人们的生产力工具,当然这是一个长期的过程,并不是说马上就能完成这一蜕变。
当然,所有的硬件实现都是为了消费者最终的体验,而消费者体验是依靠各类应用来作为媒介。所以,生态非常重要,甚至比技术还要重要得多。
马杰思认为,Vision Pro推出后,诸多非游戏类的开发者加入应用开发的行列,此外,其他的iOS应用开发者很容易把应用放在Vision OS上,移植成本非常低,这极大丰富了生态。以2013年算起,差不多十年时间,XR验证了在娱乐领域能够做到一个什么样的状态,算是一个里程碑,“Meta实际上在娱乐领域出货量与任天堂差不多了”。
“下一步是把XR变成一个通用计算平台,也就是通用计算机。Vision Pro代表行业的下一个十年,未来十年大家探讨怎么样把XR变成一个更好的计算机,从一个移动计算机,到空间计算机。”马杰思表示。