乔布斯预言Vision Pro背后故事-- 迪族网

乔布斯预言Vision Pro背后故事

来源：智东西　2023-06-27 10:23:12

智东西

作者 | 徐珊

(相关资料图)

编辑 | 云鹏

苹果Vision Pro头显的特别之处，远不止发布会上40分钟介绍的内容。

智东西6月26日报道，半个月前，苹果公司用其首款空间计算头显Apple Vision Pro点燃了整个XR赛道的热情。在短短的40分钟内，苹果简要介绍了Vision Pro的一些基础功能和应用场景。随后，苹果在其官网上线了多项开发者课程，从空间设计、交互等多个方面更加具体的介绍了Vision Pro内多项有趣的设计。同期，有关Vision Pro更多台前幕后，不为人知的细节也随着爆料逐渐呈现在大家面前。

苹果多项开发者课程

乔布斯是如何看待头显类产品的？苹果是如何学会“读心术”的？国内谁会率先一睹Vision Pro的真容？有关Vision Pro，我们挖到了13个鲜为人知的细节，揭开有关Vision Pro台前幕后的事。

一、乔布斯再次预言成功，称头显产品是一个“奇迹”

随着近期人们对苹果在AR领域的考古热渐起，我们发现苹果“教主”18年前就曾设想过“视频耳机”的产品出现，并且称之为“奇迹般的产品”。

2005年，乔布斯曾在D3的采访中提及尽管PS是非常好的游戏机，但是不能作为音乐播放器，也不能装在口袋里。

乔布斯提及有关“视频耳机”

然后他设想了一种新的产品思路：“我可以装在口袋里随身携带，戴上后可以给我让我看到家里50寸离子电视同样能看到的东西。”他在采访时还提到，产品发布后，你既可以拥有优秀的音频体验，还能获得巨幕观影体验。

如今的Vision Pro，不但能够提供多样的空间音频体验，而且还能提供环绕式巨屏观影，也是对乔布斯曾经的设想，回报出一份答卷。

二、健身场景三大应用尚未亮相，苹果偷偷藏一手？

在The information的最新报道中，有不少苹果内部人士以及体验过产品的媒体给出更为细致有关Vision Pro的内部信息。至少三位消息人士提到一些苹果正在准备有关健身场景的内容，健身场景曾是苹果重点打造的场景之一。但苹果却没有在发布会上披露任何Vision Pro健身场景的有关信息。

据悉，苹果还曾专门为Vision Pro研发了三款健身软件。一款是冥想软件，随着呼吸节奏的调整，有规律律动的树叶会渐渐膨胀成球形，最后包围着用户。另一款则是太极应用，该应用程序将指导用户练习太极。还有一款是瑜伽健康应用程序，头像将通过向下的摄像头观察用户胸部来测量呼吸的程度和身体的变化。

据悉，苹果内部至少有三个小组成员正在为Vision Pro的健身场景所努力，如与耐克等运动品牌联名打造健身运动、如何研发出更适合出汗、高强度锻炼的面垫、甚至是如何在骑固定自行车时佩戴Vision Pro并与头显内容互动等。

苹果头显拥有一个外部电池组

但如今，Vision Pro的介绍中并未展示健身场景的相关应用，甚至是苹果自身研发的三款健康软件也尚未亮相。对其原因，苹果员工内部也有诸多猜测。一位苹果头显前团队成员表示，由于头显需要外部电池组，并有电线与之相连，所以苹果可能并不公开讨论一些健身案例。同时，头显的前置玻璃屏幕可能比较脆弱，无法承受家具或墙壁的撞击。此外，他认为也有可能是此类应用程序的内容也根本没有准备好。

三、Persona其实是“阉割版”功能？Vision Pro尚未实现全身追踪

相信有不少人和我一样，曾为苹果的Persona功能感到惊艳。打开软件，分分钟Vision Pro就能帮你安排一个栩栩如生的写实虚拟人上线。但根据媒体的最新爆料，我们现在看到的Persona，并不是苹果最初设想的版本。在苹果的设想里，虚拟人应该同样是全身展示的。

苹果头显Persona功能

据三位参与该设备工作的人士透露，苹果曾聘请了Weta FX等特效公司的人员来共同开发“在场”功能，为用户打造一个栩栩如生的面部形象，甚至他们计划在眉毛上安装头戴式摄像头，以更准确地描绘一个人的面部表情。

据多名参与该设备开发的人士称，尽管该方案最终并未被采用，但是Persona最初的设计版本也和如今不同。在Persona的最初设想里，Vision Pro需要实现全身追踪，这也是Vision Pro拥有两个朝下摄像头的原因之一。但由于目前尚未实现Vision Pro全身追踪方案，因此，现阶段，Persona仅看到用户的上半身。

苹果头显前部有两个向下的摄像头

在发布会的相关活动环节，苹果公司发言人曾在今年早些时候告知开发者，全身追踪功能不会在今年上线。

四、将头显带上天，Vision Pro或拥有飞行模式

除了The information挖到了来自苹果内部的一手消息，外媒MacRumors也在visionOS 测试版中发现，该设备的操作系统可能有一个飞行模式选项，让用户可以在飞行期间使用。

系统内部文件中的一个注释提到如果您在飞机上，则需要保持旅行模式打开才能继续使用“Apple Vision Pro”。该注释还提到它还会提示用户需要“在旅行模式下保持原地不动”，避免佩戴者在佩戴头显时四处走动，打扰到坐在他们旁边的人。

在文件中，visionOS中的其他文本指出“某些感知功能将被关闭”，这或许表明该设备在飞行模式下可能不会使用其某些传感器来进行空间感知，部分功能受限。

五、苹果学会了“读心术”？摄像头正在猜测你的心

在发布会上，苹果展示了一项略显神奇的功能：当你看向界面中的任意图标时，界面就能精准呈现出你看的图标被选中，并随着你的注视时间呈现子菜单或者进入等多种变幻方式。

苹果认为眼睛意图（eye intention）是非常重要且敏感的信息。“眼睛是空间体验的主要瞄准机制，所有的界面都会对您的视线做出反应。我们都能通过观察眼睛，来瞄准界面中的任意元素，无论它有多远。”苹果设计团队的员工在开发者课程中说。

比如说，当你长期注释着某个喜爱的照片时，眼睛会转动的很快，系统就会知道你对它十分感兴趣，时刻准备着向你展示更多的信息。再如说，当你使用停留控制功能时，你可仅用眼睛选中某个内容。

眼神视线变化直观在图标上展示

当然，苹果也提到，被人看透的“眼睛意图”是非常敏感的信息，因此在处理数据的时候，保护隐私是首要任务，用户主动选择相应的功能后，系统才会向你展示新的信息。

苹果在眼动技术方面的积累多年。在和眼动追踪技术相关的厂商交流后，我们了解到苹果曾利用iPhone的眼动技术在广告领域获取相应的信息，比如说，通过用户停留在手机界面的某个产品上的目光时长，推测其用户喜好，并将其记录。

除此之外，苹果研发人员Crispin也在Twitter上曾爆料称，其在苹果头显团队工作多年，主要攻克的方向就是通过监测身体和大脑的数据，在沉浸式体验中能够准确识别用户的精神状态。

由此可见，你的眼睛正在悄悄出卖你，苹果正在通过其积累多年的眼动技术来读懂你的心。

六、为什么图标都是圆形边框？苹果：为了保护双眼

尽管不少产业人士都能预测眼动追踪技术是头显的关键交互方式之一，此前业内也有高端头显搭载了眼动追踪模组，但是相较而言，苹果的眼动识别似乎精准度更高，其交互玩法也更多样。

在苹果的开发者课程中，设计团队负责人曾反复提到一句话“要注意，眼睛目标的元素所需要的最小点为60pt（UI设计单位，逻辑像素点）。”这也隐约向我们透露苹果头显UI设计的最小值。

选择圆矩形图标设计

同时，在设计图标时，苹果还温馨提醒设计者，要使用圆形、药丸形、或者圆角矩形等设计方式。因为当图标时，边缘锋利的形状会让用户的眼睛聚焦在锋利的边框上，从而降低眼睛的精准度，而且还会造成用眼疲劳。

可以看出，苹果也是从多方面观察你的注视动向，并且将每一次注视的力量发挥到关键之处。

七、Meta谋划多年的虚空键盘竟给苹果抢先了

除了眼动技术之外，手势也是苹果头显的关键交互方式之一。人们对虚拟键盘的设想，早在各类科幻电影中频频出现。苹果也在发布会通过一闪而过的画面展示了虚拟键盘已经从科幻电影走向现实。

Meta研究如何通过肌电手环实现交互

当Meta正在研究如何通过肌电手环，实现虚拟打字场景的时候，苹果已经通过裸手交互和虚拟键盘相配合的方式，实现虚拟打字。当然，苹果自己也提到设计相关场景时，要考虑到“输入的时间太长，手会很累”的问题。

在使用虚拟键盘的时候，当用户的手在虚拟键盘上时，虚拟键盘的按键会显示一个悬停状态和一个高亮状态。随着手指越靠近按键表面，按键表面亮度会越亮。

苹果实现虚拟键盘输入

在演示视频中，苹果也直接提到了虚拟键盘的弊端——触感缺失。“我们要通过用音量、图形和效果变换来弥补出现的头显效果。”苹果设计团队的员工说道。

他还提到当手指接触到虚拟键盘按键时，虚拟键盘的变化速度会特别快，并伴随着相应的空间音效。这些变化能够帮助用户弥补缺少的触觉信息，让用户和虚拟键盘之间的交互可具有可靠感和反馈感。

当然，除了虚拟键盘本身以外，Vision Pro也支持外部键盘接入配合使用的方式。从现有的视频效果来看，苹果的虚拟键盘背后，既有眼动追踪和实时渲染的技术支持，同样也有苹果在手势交互精准度的“苦功夫”，以及苹果在整个用户体验层面的多重优化。

八、眼睛竟成“放大镜”，眨眨眼就自动放大图片

当眼动交互和手势交互相结合的时候，苹果发明了不少新玩法，其中之一就是将眼睛变成“放大镜”，只需要动动双眼，结合缩放手势，你就可以直接放大图像的某个角落。

“将视线方向与手势相结合，我们可以创建精确且令人满意的交互，这在其他平台上是不可能的。”苹果设计团队发言人骄傲地说道。

他解释到，当你看向图片的某个位置，并做出缩放手势后，系统将以你当时的注视点作为原点，缩小或者放大图片，并且该处图像还会直接居中，呈现在用户面前。

根据视线精准放大图片

苹果还举了另一个例子，在绘图中，你可以用手挡做画笔直接涂抹写，但是当你的目光转向画布的任一角落，并且用手轻轻点击一下，你的画布将会自动调整到刚刚目光所注视的位置。

在苹果看来，眼手协同的方式，不仅能够简单快捷地执行命令，并且还能精准实现转移。

九、站在在大剧院做汇报？Keynote成舞台提词器

在空间设计开发者课程中，苹果举了一些例子讲述空间感将会给用户带有哪些体验升级。比如说，自适应的窗口设置、光线的变化等。其中比较有趣的一项功能，就是Keynote的演讲模式升级。

在头显应用内的Keynote排练演示功能中，用户将进入一个环绕式剧院内，而演示的文稿则会在左下角显示。这样的方式，就和登上大舞台的演讲家一样，而Keynote则成为了提词器面板。

沉浸式演讲模式

相比此前的演讲方式，这样的排练更加真实，也更加具有沉浸感。也许，社恐们在这样的演练下，会增加几分“抗性”，在演讲时获得更好的成绩。

从Keynote的升级中，我们可以看到在“移植”iOS和iPadOS等原生应用上，苹果不仅是将内容和功能迁移过来了，并且还结合头显所特有的“沉浸式”和“空间感”做了不小的升级。

十、30min头显体验有“猫腻”？AR/VR光学专家提出质疑

在发布会结束后，有一小部分媒体获得“优先体验权”，在惊叹声和激动声中，人们对头显的期待值不断拉高。但也有部分专家发现，这头显体验环节似乎通过巧妙的设计避开了部分关键功能体验。

AR/VR光学专家Karl Guttag率先发声，从体验时长、安全性、人体工学、算法以及眩晕等多方面提出质疑。

在体验时长上，几乎每位体验的媒体都在工作员工的指导下获得30分钟的体验时间。30min的体验，能避开Vision Pro一些潜在的遗憾。比如说，佩戴时间太长，头显的重量造成的不适感，续航时长的问题等等。

Vision Pro实物图

在体验场景上，苹果设定的固定体验功能，并未涉及到大范围的动作。这也从一定程度减少了眩晕的出现。Guttag也表示，在眩晕方面，目前苹果的低延迟、高刷新率方案，不足以解决现有头显类的视觉问题。

而且，据The information报道，没有一个苹果高管或者苹果员工在公开场合展示其部分特殊功能，如Eyeslight、虚拟键盘等。这或许意味着苹果硬件以及相关功能，仍未达到较为稳定的程度。

我们鲜少看到有媒体戴着头显四处走动，Vision Pro头显的透视方式能否保证用户能够顺利感知到四周环境的危险，苹果头显的安全性方面也被打上了问号。

在Vision Pro头显和消费者们见面前，我们仍对这款革命性的产品保持尊重和好奇的心态，期待其与我们的见面。

十一、上海开发者或成国内首个见到Vision Pro的群体

在发布会结束后，哪里能买，哪里能体验成为人们最为关注的几大问题之一。尽管苹果官方在发布会上给出的回答是明年早些时候发售，并且率先在美国市场上市。

visionOS开发计划

但总有一小部分群体会得到苹果的“优先权”。据悉，苹果会在库比蒂诺、伦敦、慕尼黑、上海、新加坡和东京这六个地方设立开发者实验室。由此可见，上海的苹果开发者们或许成为国内首批“尝鲜”的人。

此次，苹果为开发者们提供Vision Pro开发工具包、visionOS应用兼容测试以及其它服务。

十二、如何和其他设备产生联动？UWB芯片或成关键

Vision Pro发布后，苹果分析师郭明錤也在近日发表了他对Vision Pro的最新看法，并对苹果进行了一些预测。他认为，iPhone 15将配备超宽带芯片，该芯片将改进与Vision Pro的集成。同时，Apple积极升级iPhone硬件产品规格以建构更有竞争力的Vision Pro生态。

郭明錤推特

除了iPhone，我们也在发布会上看到这样一个画面，只需要一眼，就可以将Mac画面内容，移植到Vision Pro上。部分工程师认为，这本质上是在 Vision Pro上运行Mac软件。这曾是苹果曾经“毙掉”的操作方式之一，因为 Vision Pro 的操作系统visionOS 功能不够，因为它基于 iOS，而 iOS 已经是 Mac 操作系统的精简版。

同时，The information近期也提到， Apple TV+ 团队内，有一个在加利福尼亚州卡尔弗城的小组正在执行代号为Z50的项目，他们主要从内容包括为苹果电视节目《史前星球》构建虚拟恐龙，又或者科幻节目《为了全人类》改编的其他内容。在苹果自身的优势上，苹果正在从硬件、内容等多方面为Vision Pro加码。

十三、13年坚持收购AR创企，揭开Vision Pro背后的功臣们

在苹果Vision Pro发布后，又传出苹果收购AR初创公司Mira的消息。据目前消息来看，Mira在企业级应用以及硬件方面曾取得一定的成绩。

从2010年开始，苹果收购AR创企的消息就不断被爆出，而从Vision Pro上，我们也能看到不少创企的“大招”有所体现。

苹果收购AR企业历程（图源：VR陀螺）

比如说，苹果收购的创企中，Limbak曾在VR头显镜头制作，以及Pancake方案有所创新，而Vision Pro的3P Pancake方案正是其成功的主要方向之一。而苹果在空间视频、办公场景中展现的会议场景，或许也和苹果在2020年收购Spaces团队有关。Spaces为Zoom提供VR套件和技术支持，让用户通过虚拟人物形象进行演示和汇报功能。

Vision Pro视频会议场景

苹果在眼动交互技术积累，也有部分得益于德国眼球追踪公司SensoMotoric Instruments，该公司成立于1991年，在眼动技术方面拥有超过20年的经验积累。

可以看出，苹果维持其较强的创新能力背后，也离不开其一次次精准的收并购，吸纳优秀的团队。或许，这方面，也是值得国内企业学习之处。