大咖汇集,siggraphing大会

一年一度的ACM SIGGRAPH亚洲计算机图形和交互技术会议暨展览会（SIGGRAPH Asia）于11月17到20号在澳大利亚布里斯班会议展览中心成功举办。

本次大会以“Dream Zone”为主题，吸引了来自世界各地对计算机图形学、科学技术、艺术、互动、教育和新兴技术感兴趣的艺术家和创意人士，来自50个国家和地区的5,120名参会者济济一堂，还有800名演讲者和来自15个国家和地区的68个品牌参展商。

为期四天的会议涵盖各个领域的精彩活动，包括专题会议、电脑动画节、技术论文发表、新兴技术展示、XR/VR体验、课程及工作坊、数字艺术廊科技艺术作品展示等等。

瑞云有幸采访到了其中的几位演讲嘉宾：SIGGRAPH Asia 2020大会主席Jinny H.J. Choo、Weta Digital动画总监Sidney Kombo-Kintombo、SIGGRAPH Asia 2019博士生联盟主席Alyn Rockwood、悉尼大学MOTUS实验室和fxguide.com联合创始人Mike Seymour 、华特迪士尼动画工作室CG总监Ernest Petti 、Weta Digital视效总监Guy Williams、皮克斯动画工作室首席图形工程师Pol Jeremias-Vila，精彩的专访内容我们将逐步放送，敬请期待吧！

Renderbus瑞云渲染 SIGGRAPH Asia 2019专访预告

精彩纷呈的SIGGRAPH Asia2019

SIGGRAPH Asia 2019开幕式

SIGGRAPH Asia 2019的开幕式上，土著舞蹈家们在现场为大家带来了舞蹈表演，并欢迎SIGGRAPH Asia 2019的参会者。大会主席Tomasz Bednarz为此次大会致辞并表示：推出“Dream Zone”目的是希望参会者在体验最佳计算机图形学和交互技术的同时，还会更积极的参与并保持微笑享受其中。

之后主题演讲人Donna J. Cox就“数码宇宙绘制变革：卫星的故事，超级计算机及数据可视化的艺术”发表了精彩非凡的演讲，分享了她在数据可视化领域的工作。

SIGGRAPH Asia 2019干货分享

博士联盟

这是一个面向博士生的论坛，以及由SIGGRAPH Asia资深研究人员组成的小组，在这个小组他们可以尽情的交流和分享他们的研究的主题。

ACM SIGGRAPH前沿研讨会

会议中探索了当前计算机图形学中最热门的三个领域：自动驾驶汽车及体验；人工智能和虚拟现实，以及两者的结合。

商业与创新研讨会

这项独家VIP活动为期一天，在会议委员会、赞助商及地方政府的支持下，邀请了来自不同行业和背景的演讲者，探讨包括5G在内的技术、创造力和商业的未来。

SIGGRAPH Asia精彩的专题分享

小组讨论和受邀演讲者分享的重点包括：

Method Studios的Josh Simmonds，Nick Tripodi和Alex Halstead为大家分享令人惊悚的电影"IT Chapter Two"中最惊悚的时刻的恐怖视效是如何塑造的。

参展商皮克斯RenderMan分享。皮克斯通过《玩具总动员4》创建了一些复杂的电影摄影技术，使故事的视觉叙述达到了新的高度。在本次演讲中，皮克斯的市场经理Dylan Sisson展示了这些的核心技术：RenderMan和USD（通用场景描述），这些技术使《玩具总动员4》成为可能。在展示细分和演示环节，他和大家介绍了RenderMan用于照明和外观开发的最新工作流程，其中包括针对艺术家强大交互式工作流程。

Weta Digital动画总监Sidney Kombo-Kintombo分享了从《复仇者联盟：无限战争》及其续集《复仇者联盟：残局》中Thanos和Tony Stark命运交织的最激烈的战斗场面，展示Weta的动画师如何利用新的动画工具MCU及丰富的制作经验来描绘复仇者联盟不可避免的命运。

微软的产品经理Charlie Han，在专题会议环节分享了HoloLens这项技术将如何改变传统的工作、娱乐和交流。

由来自皮克斯动画工作室的技术总监和动画师们，向观众简要的介绍了动画电影《Onward》在制作过程中遇到的挑战，和一些关于“魔法”的制作细节。

Weta Digital视效总监Guy Williams，在专题会议中和大家分享了在《双子杀手》如何将Junior打造为完全数字化的人类角色。该项目推动了Weta的角色开发技术，并帮助艺术家在4K、每秒120帧中展现Junior的令人震撼的制作细节。

就“缩小视效、游戏和动画领域的教育差距”进行讨论分享会，讨论小组的成员包括Epic Games的教育合作经理Mark Flanagan, The Rookies联合创始人Alwyn Hunt, Animal Logic的Chris Ebeling, 资源专家计划（RSP）的Anna Hodge 和工业光魔的Lara Hopkins。讨论如何使学术与产业协调工作，解决当今许多教育和行业需求之间差距的问题。

Aidan Sarsfield (Animal Logic)，Ernest Petti (皮克斯)，Mark Hills (Framestore)，Phil Pham (ILM), Renee Tam (皮克斯)，Christopher King (Weta Digital)， and Louis-Daniel Poulin (Weta Digital)和大家分享了他们在制作项目过程中的出现的一些问题，以及针对大规模的Pipeline效率的问题，在紧迫的制作时间内如何创作好的视效的见解。

SIGGRAPH Asia 2019的黑科技

技术论文发表

SIGGRAPH亚洲2019技术论文快速分享。在这个环节中，每篇技术论文的发表者需要在40秒的时间内进行发表，在场感兴趣的参会者可以在接下来的几天聆听完整版的论文发表。

Real-Time Live!精彩瞬间节选

SIGGRAPH Asia 2019大会必看的压轴节目，今年Real-Time Live！作为比赛举办，参赛作品来自全球，最终六个入围候选项目在现场展示各具创意和虚拟技术实力的实时Demo，角逐桂冠。

获胜的是AirSticks项目，AirSticks是一种基于手势的视听乐器，将空间控制的声音设计与投影到透明屏幕上的3D游戏环境结合在一起。该系统可以构成直接叠加在表演区域上的高度集成的视听环境。由澳大利亚莫纳什大学SensiLab研究员Alon Ilsar以及悉尼科技大学Animal Logic Academy的博士生Matt Hughes联合开发。

虚拟人Matt AI，由腾讯互娱的NExT Studios和腾讯AI实验室的三位小伙伴Jingxiang Li，Shiyin Kang，Xinwei Jiang联手展示了虚拟人Matt在不同情绪下被多种语言驱动的实时Demo。这个项目结合了AI技术，将语音驱动的虚拟人推进到“情感表达”的新阶段，所研发的一个具有情感的语音可驱动的AI。用声音实时驱动虚拟人Matt，通过识别语音的语气会产生自然而生动像人类一样的表情。

个性化人像实时虚拟时尚服饰试穿。为了解决虚拟试衣间的问题，提出了一种个性化人像与最先进服装模拟的解决方案，虽然市面上已有实时试穿服饰，但受限于“Skinning Techniques”蒙皮技术，而现场展示的方案是通过输入图像，表演驱动动作，以及复杂的实时服装模拟，输出完全绑定的人像！该项目由Pinscreen的首席科学家Koki Nagano以及CEO Hao Li及一众工程师开发而成。

XR/VR影院

在体验馆中，参会者可以体验XR/VR项目的新兴工具。例如Touch VR触觉界面，该系统可以识别面部表情，采用无源磁性材料巧妙地刺激体毛，以一种新颖的触摸感应的方法，引起了情绪反应。小伙伴们还可以在SIGGRAPH Asia 2019的体验馆参与VR电影等体验。

新兴技术

新兴技术是SIGGRAPH Asia的最重要展示环节之一，它收集和展示新颖的交互式技术，这些技术有可能为我们的未来生活带来实用性或舒适性等益处。在展览的新兴技术部分，参观者将体验可以改变和改善我们生活的交互式技术的展示和展览，例如“共肢：可穿戴机械臂的直观协作控制”等。

数字艺术廊

艺术廊内以Deep Dreaming分为“历史”与“未来”两个部分展示。“历史”部分由媒体艺术家、艺术/科学界的先驱策划的展览，他们通过算法将艺术构筑了新的艺术视野。“未来”部分呼吁艺术作品提交并设想未来基于技术的艺术实践。

电脑动画节（CAF）

电脑动画节是SIGGRAPH Asia盛会最重要的环节之一，展示来自世界各地的艺术家们在电脑动画和视效方面最具创新和探索的转变。本届CAF收录了来自世界各地的学生或专业人士共计524份参赛作品，入围41部短片，CAF 2019评审团还从艺术、视效、科学可视化效果上精心挑选了22个优秀的动画短片作品，并在大会中颁发Best in show最佳表演奖、委员会特别奖和最佳学生项目奖三个奖项，22个优秀作品将通过电子剧场展映，也是每届的必看亮点。

奖项得主分别是：

最佳表演奖

作品名称：《Kids》

创作者：Michael Frei、Mario von Rickenbach

工作室：瑞士Playables

委员会特别奖

作品名称:《Spring》

导演：Andy Goralczyk

制片人：Francesco Siddi

工作室：荷兰Blender基金

最佳学生项目奖

作品名称:《The Ostrich Politic》

导演：Mohammad Houhou

制片人：Moira Marguin

工作室：法国Miyu Distribution

对于艺术家和科学家来说，SIGGRAPH Asia是热爱计算机图形学激情汇聚的地方，为参展者打造了一个独特的交流平台。作为体验的一部分，为参展者与SIGGRAPH亚洲社区建立联系，结交新朋友，创造新的商业机会。

瑞云作为SIGGRAPH Asia深度合作伙伴，也希望在未来更好的为行业助力，促进前沿技术的交流，加深合作互利，瑞云也一定不忘初心，继续为行业注入有生力量！

计算机图形学就业

SIGGRAPH和SIGGRAPH Asia这两年，为了防止投稿人和审稿棚扒人有利益冲突，在网站上添加了一个标记冲突的功能，里面可以查看所有审稿人在何处就职的信息。
所以，可以把这个表复制下来，合并同名以后，就可以做统计了。
SIGGRAPH 2019和SIGGRAPH Asia 2018总共有1172名审稿人，大部分都在大学或者科研院所就职。
把在工业界的人挑出来，然后知物截止到大于等于5的公司，可以得到下表：
Google，49人
Adobe，38人
Facebook，33人
NVIDIA，32人
Microsoft，25人
Disney，17人
Weta Digital，7人
Autodesk，6人
Intel，6人
Pixar，5人
恰好截止到了排名前十的去向，很有意思。
其实还可以看到所有成为了SIGGRAPH和SIGGRAPH Asia的作者的人，可能更能反映工业界的人员分布情况，毕竟业界不是所有人都投Technical Paper，也不是所有人都愿意做审稿人。这个列表目前总共有2520个人（全世界哦，所以图形学的圈子蛮小的）。用同样的方法统计一下，可以得到下表：
Google, 97人
Facebook, 64人
Adobe, 51人
NVIDIA, 43人
Microsoft, 31人
Disney, 21人
Pixar, 10人
Weta Digital, 8人
Amazon, 7人
Pinscreen, 7人
Snap, 7人
Autodesk, 6人
Intel, 6人
Alibaba, 6人
Apple, 6人
Sony, 5人
Tencent, 5人
多了几个公司，不过大致上是与审稿人的列表一致的。
PhD刚毕业去Google一般能给L4，对应同等级在Facebook和Adobe分别E4和SSE4。我们知道levels.fyi上有前三家公司的年薪（base bonus restricted stock units），平均数分别是$257780、$248579、$242167。从第四名往后少有能到这个数目的。所以钱多的地方人也多，确实是有搭和液一定道理的。

quest2手柄是什么摇杆

上周末租了一个Oculus Quest2玩玩。这款被誉为迄今为止性价比最优秀的移动端VR设备，推出后成功实现了 5 倍于原版的预定量，再次点燃了大众对VR的热情。在体验了Oculus Quest 2之后，就冲着Audica这一款音乐游戏中的illmerica这一首歌，我就已经有了下单购物的冲动。。不过呢，本文还是非常正经（虽然并不专业）地做了一下全面地测评，主要从外观和佩戴舒适度、视觉效果、内容生态以及交互体感上展开，顺带着，为了满足自己的好奇心也查了一些资料做了一些关于VR显示技术、内容生态和下一代物理交互技术的简单研究。期待更专业的童鞋能多与我探讨，对理解有误的地方提出批评指正。
一、外观和佩戴舒适度
当我刚拆开Quest2的外包装时，并没有感觉到非常惊艳——中规中矩的显圆润的灰白色头盔和两个手柄，外壳前侧是符合材质，周围是编织物处理，但是整体缺乏让人眼前一亮的科技感的外观。
头盔设备前面板有四个摄像头，采用四摄Inside-Out定位追踪系统，支持双6DoF（头显 6DOF 和手柄 6DOF）追踪。除了定位的作用，在每次佩戴时，会出现要求设置边界的过程，整个过程你将会看到你的房间，并通过手柄画出虚拟边界，当你走出或靠近边界时，Quest会直接开启摄像头显示真实环境以提醒你在边界范围外（passthrough），可以让你不用摘下头盔就能看到外部环境，避免撞墙砸电视。

头盔内部的镜片是凸起的，支持通过扳动来调节瞳距。头带就是很廉价的松紧带，乏善可陈。在佩戴舒适度上，对于戴眼镜的用户（比如我），原装头带非常不舒服，压脸兼漏光。解决方案也是有的，那就是加钱上装备，比如搜了一下，淘宝上就有定制的磁吸式眼镜框。
另外，从舒适度上，重量也是一个最直观的bug，quest2的重量和一个2wW的充电宝（事实上功能也是备电）差不多，戴久了脖子着实会酸。在这一点上，我也很疑惑为什么VR设备厂家为什么一定要把电池电路板都集成在 VR一体机中，一方面增加头部重量，另一方面电池容量也做不大。
二、视觉效果
对于第一次玩VR设备的人，Quest2在画面上是让我非常震撼的，尤其是开阔的大场景特效，果真能让人心旷神怡。在做动态游戏的时候完全感觉不到延迟，尤其是drunkn bar fight这种暴力解压小游戏，在快速转换视角的时候画面也非常顺畅，至少我个人而言，眩晕感不强烈，玩半小时到一小时完全没有任何不适。 以上是一个主观的评价。那么，特别针对VR设备的画面视觉效果的原理，我也做了一些扩展研究。
1. 近眼显示技术
在基础成像上，Oculus Quest2在官方宣传上是1600×1400分辨率的显示屏、菲涅尔透镜，视场角约100°。但我个人感觉上Quest显示分辨率并不是总能达到屏幕分辨率，需要不断调试自己的眼镜和设备之间的距离，调整视线的角度，才能摆弄到视觉的甜蜜点。
这种体验其实是与VR设备的成像原理相关的。
一个典型的VR眼镜的光学系统一般为同轴目镜结构，主要包括人眼、凸透镜、成像屏幕（例如硅基液晶（LCOS）、数字光处理器（DLP）、有机发光显示（OLED）以及微发光二极管（Micro-LED））三个部分。
其中，凸透镜正是VR欺骗眼睛的作案工具。下图为通过视网膜成像，人眼观察到的这个世界。假如我佩戴了眼镜，在正常情况下是无异样的。但是在设备的挤压改变了镜片（本质也是一个凸透镜）与人眼、HMD光学组件之间的合理距离，因而造成图像模糊的显示情况。
人眼的透镜成像
以上其实是很简单的光学成像原理，但是要做出一款优秀到让你感觉达到reality的HMD需要做到完全/尽可能匹配人体结构。这就需要考虑到众多因素，例如：
人眼观察角度（视场角，简称FOV——Field of View，普通人水平方向双眼是 200 度，会有 120 度的重叠。）
人双眼之间的距离（瞳距，简称IPD——Interpupillary distance，一般成年人的凭据瞳距是63mm，浮动范围是 50–75mm。）
人眼到镜片的距离
镜片到屏幕的距离
屏幕成像的大小计算
屏幕成像的反畸变
屏幕成像的渲染帧率及屏幕的刷新延迟（业界公认刷新率高于 75Hz，延迟应低于 20ms）
当然，以上因素的达成不仅需要考虑光学器件（光学镜头、衍射光学元件、影像模组、三维建模模组等）技术，也需要HMD中的显示屏（LCD、OLED、AMOLED、微显示器等显示屏及其驱动模组）以及芯片(CPU、GPU、移动 SOC 等）的共同作用。
回到评测，相比上一代，在显示技术上，Quest2的变化在于：
OLED更换为LCD材质；
分辨率更高；
刷新率更高；
双屏改为单屏，依然物理IPD，但仅三档（倍受吐槽）。
可以看到重要的一点是在显示屏选择上，Quest 2用LCD取代一代的OLED方案。尽管LCD在屏幕响应时间不如OLED快，对比度相对更低，在色域、色彩均匀性等方面存在劣势，但是曾经困扰LCD发展的高刷新率导致的拖影问题已被解决，其显示相对OLED也具有更高的分辨率，更细腻，亮度更高，成本更低的优势。
放到Quest 2上来看，这也明显减轻了纱窗效应。 所谓纱窗效应，即像素和像素间的空隙过于明显，使得VR观看画面像是被一层“纱”蒙着，大大干扰视觉效果，影响VR的沉浸感和视觉清晰度，也会造成头晕。提一嘴，在VR设备显示领域，纱窗问题被公认为一个难题。此前，除了提升像素密度外，一些VR头显通过降低FOV（视角）的方式来让纱窗效应看起来不是那么明显，还有一些在显示屏上叠加漫射器来柔和像素光线的方式，模糊像素之间的间距和光线差异，比如：Valve Index、三星Odyssey 。Facebook Reality Labs此前就已经研发基于眼球追踪的机械式可变焦VR原型机Half Dome。21年2月，FRL与亚利桑那大学合作，将机械控制屏幕方案又用在解决VR纱窗效应上。即：通过高速移动显示屏，来从视觉上用像素去填补不发光的部分。有点类似于根据人眼视觉暂留原理的全息风扇。
随着显示技术的发展，人们也在期待对应更高刷新率、分辨率，同时更轻便小巧的新一代VR显示主流方案。
VR的光学成像系统不像AR这么花里胡哨（各种形式的波导），当前在售短焦VR光学产品均为多组偏振镜片组合——其出现本来就是提高VR光学模组的空间利用率，进而降低体积和重量。
超短焦系统的透镜组
目前也陆续有超短焦系统，有望将“头盔”瘦身为“眼镜”。例如，VX6头显设计方案采用3M新型折叠光学透镜组件，包括一个曲面玻璃透镜和3M公司独有的High Acuity Reflective Polarizer（3M高锐度反射偏振器）；华为发布的VR Glass也采用超短焦的技术方案等。
华为VR Glass
一些更为先进的VR光学模组也在不断涌现，例如Facebook此前公布的结合全息光学的折叠光路方案，原型机看起来比华为VR Glass等偏振式折叠光路短焦VR头显更轻量化，厚度更加接近普通墨镜！
对于为何是全息，Facebook给出的原因是认为阻碍当前VR轻量化发展的因素之一就在于透镜部分。即便透镜本身可以做到很薄，但是由于光学特性导致在透镜和显示模组之间必须有保留一个用于确保对焦的空间，如下图所示，因此VR头显的体积仍然很大。

而采用全息透镜（厚度犹如一张标签纸），达到同样优秀的显示效果同时，光线路径更短，可以让光学模组的厚度控制在8.9mm（不含光源和驱动单元，Facebook号称是当前业界最薄的VR显示模组）。不仅体积轻便、外形小巧，同时视场角也可达到90度，而且还可支持激光光源，具备视网膜级分辨率的显示能力。
这项技术的出现也代表着AR、VR技术的融合化。以往在AR中出现的全息衍射技术如今也出现在VR中。当然这种光学方案的采用将重新评估其他零部件，实现起来较为困难，具体挑战包括全息模组元件的设计、重影、Eyebox、入射角度、变焦显示等等，因此该研究还处于概念验证阶段。
全息成像的原理图[Facebook reality lab论文《Holographic Optics for Thin and Lightweight Virtual Reality》]
在显示屏的趋势上，目前讨论较为火热的有硅基OLED（也被称为Micro-OLED，即硅基OLED搭载在高纯度的硅基半导体电路上），其在分辨率上能将PPD（pixel per degree）拉满至人眼角分辨率上限，提振沉浸感体验（相比目前的OLED或LCD方案提升一倍至人眼的60PPD），在刷新率上最高可以达到2000HZ，近乎目前的20倍。对于硅基OLED，国外的Kopin、索尼、苹果、eMagin，国内京东方、合肥视涯、昆山梦显等著名企业均在积极推进。之前台媒就有预测，苹果将在2022年推出的VR头显设备就或将采用Micro OLED显示面板＋多层菲涅尔透镜（Fresnel lens）设计，以实现更好的整机轻薄化效果。
2. 图像计算能力
单纯使用高分辨率的画面是最直接的一种的方法，但真正让quest2的画面畅通无障碍渲染和运行还是支持他进行高速计算的心脏——高通骁龙 XR2芯片。 骁龙XR2平台为Oculus Quest 2带来的多个关键性能增强。
在视觉方面，骁龙XR2可支持90fps的3K×3K单眼分辨率（支持目前所有Oculus头显中最高的显示分辨率），在流传输与本地播放中支持60fps的8K 360°视频。强大的GPU性能可以实现1.5倍像素填充率和3倍纹理速率以进行图形渲染。骁龙XR2平台的AI处理能力提升高达11倍，让Quest2能为娱乐体验提供2-3小时电池续航能力。另外支持5G也更是让骁龙XR2实现高速率、低时延的体验。
高通在VR/AR芯片方面的布局还是非常早的。早在2018年5月，高通发布了首款专用于AR和VR设备的芯片XR1。骁龙XR1平台针对支持AI功能的增强现实体验进行了特别优化，可以提供优异的交互性，降低能耗，支持高达每秒60帧的超高清4K视频分辨率，从而为VR头显带来高质量的视觉效果。在音频方面，这个平台还包括Qualcomm Technologies 3D Audio Suite，Qualcomm Aqstic和Qualcomm aptX音频技术，可以为用户带来最佳的音效。骁龙XR2平台更是在第一代基础上综合性能提升了两倍。爱奇艺智能发布的新产品奇遇3也将搭载高通首款支持5G的XR芯片骁龙XR2，这也是国内第一款官宣使用骁龙XR2芯片的VR设备。
高通在VR/AR上的投资和布局
在提升图形计算能力上，一方面是提高芯片的计算性能，另一方面也可以通过算法来合理地优化计算量，同时提升沉浸效果。
例如注视点渲染等技术。注视点渲染指的是通过眼球追踪来识别用户在VR中的注视点，从而动态调节VR屏幕的清晰度——也就是说注视点区域最清晰，余光部分则降低清晰度，这也非常符合人眼的自然特征。
在超过人眼视觉区域150度的视野中，最高分辨率的区域只跨域了3度，并且距中央凹中心10度以内的分辨率下降了一个数量级。通俗来说，就是我们能看清的区域并没有我们想象中或者感受到的那么高，只有中间是具有最高分辨率，而旁边的视觉区域其实没那么清晰。
当我们用设备来模仿这种自然机制，既没有肉眼能察觉到的降低视觉效果，又有助于降低硬件压力，又可以实现同等视觉水平下的低能耗，一举三得。
人眼的视觉范围
在注视点渲染技术方面，最经典的当属NVIDIA提出的VRSS（Variable Rate Supersampling，可变速率超级采样）算法，这也是NVIDIA在自家显卡AI软件能力的其中之一。VRSS拥有最高8倍的超采样方案，从而提供更好的视觉效果。同时，还提供划分区域的动态渲染的VRS功能。NVIDIA与Tobii在实验中发现，其可将VR设备的显示效果最高提升57%。
更多技术细节：英伟达概述如何为VR集成注视点渲染 可变速率着色VRS
VRSS技术示意图
VRS对同色块像素的shading处理
NVIDIA最新发布的VRSS2更是深入结合了眼球追踪技术，结合动态注视点渲染，从而在充分利用硬件的同时还提供更逼真的视觉观感。这样一来，VRSS 1中的中间固定8倍渲染则变成了动态眼球注视区域的8倍渲染，如下图蓝色区域。具体到模式也分为自适应模式和始终开启模式。

自适应模式（左）和始终开启模式（右）
当然，流畅的注视点渲染效果非常依赖于精准实时的眼球追踪效果，对于短延迟的要求很高。VR头显中采用的眼球追踪方案主要为光学传感器 计算机视觉算法，因此传感器采样率和算法处理速度都可能造成延迟和误差。尤其是考虑到每个人瞳孔形状各不相同，眼球追踪计算也容易因此产生误差和延迟，影响动态渲染的观感，这也是注视点渲染技术得以推广应用的难点。
由于VRSS2是NVIDIA和Tobii联合研发的，目前VRSS 2在硬件上仅支持Tobii的眼球追踪VR设备，据悉，首款支持NVIDIA VRSS 2的是惠普G2 Omnicept，后续可能会支持更多VR头显。
具体回到Oculus Quest2上，虽然我没有看到专门有关视觉渲染相关算法应用的报道，而且我动自己眼珠子或者特意留意余光，也不会感受到类似技术的应用。不过Facebook在此之上确实投入了非常多的研究，也作出不少牛逼的成果，可能这些成果会在下一代Oculus设备上进行应用吧。
例如FRL在2019年11月的SIGGRAPH Asia上展示的DeepFove算法。它可以使用最少的必要数据量，来生成与视网膜分辨率匹配的图像。当给定一个稀疏渲染的图像，它可以通过将可变分辨率与在任何给定时刻指向中间凹的位置的每个点处的视网膜分辨率相匹配，来推断和填补出丢失的数据，使得中心处恢复原图的清晰。该渲染器的像素密度可以在60*40的视野的外围减少多达99%，整体渲染像素的数量只需不到10%即可——这相比NVIDIA的VRSS2也提升了非常多。
更多技术细节：
DeepFovea: Neural Reconstruction for Foveated Rendering and Video Compression using Learned Statistics of Natural Videos
我们完全可以期待，在芯片性能提升和视觉算法优化两方面的共同推动下，有一天我们就可以拥有能够进行全天候的实时渲染的一款轻便、高效、节能的VR设备了。
内容质量与生态
接下来就到了特别有意思的环节，分享一下我对各个游戏的看法，以及generally，对quest2平台上内容生态的体验。这里说明一下，由于我的quest2设备没法联网 翻墙，因此游戏的录制画面很可惜都不能放上来和大家分享，不过我会尽量找一些其他人录制过的案例让大家感受一下。
内容体验
目前VR游戏C端主要游戏类型有多人射击游戏、单人工作类游戏以及音乐类游戏。
多人射击游戏：Onward，Population One，Contractors；
单人工作类游戏：Blade&Sorcery，Walking Dead S&S，Boneworks（VR设备特有的感觉）
音乐类游戏：Beat Saber，Synth Riders，Pistol Whip（结合射击和节奏）
由于我没法联网（落泪），所以多人游戏基本没有体验，就几款我喜欢的单机游戏做一下点评。
Beat Saber
【转载】Beat Saber 达斯·摩尔光剑 专家难度Believer_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
音乐游戏真的似乎是为VR平台打造的。VR音游头牌肯定还是最带感的节奏光剑，Q2的版本因为没有线的束缚以及比PS VR要先进的定位技术，比PS版多了360°旋转的模式，嗨到飞起。
Audica
Oculus Quest 2 音乐节奏游戏《Audica 汉化中文版》奥迪卡_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
这款游戏和《Beat Saber》最大的差别就在于你得透过射击目标的方式来演绎各类节奏，而不是切断那些莫名向你飞来的方块。玩家将需要同时专注于瞄准目标，并在正确的时机点将其击破。难度系数较《Beat Saber》更高。音乐和射击相结合，特效炫酷十足，节奏动感很强，我个人喜欢他要多于Beat Saber！！可能是我最喜欢的游戏！最喜欢是POP star和Illmerica这两首 。

Drunkn Bar Fight
Drunkn Bar Fight -Oculus Quest 游戏_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
这是一款暴力解压小游戏，和我们小时候玩的狂扁小朋友差不多，但是更真实……在游戏里，你就是一个醉汉，去各处挑衅人群，打架斗殴，可以拿起身边所有的道具比如蜡烛、椅子、灭火器，对周围的人进行骚扰和施暴……因此还是提醒小朋友不要轻易尝试，更不要上瘾，玩久了当天晚上真的会失眠！
Death Horizon
Part5 死亡地平线 death horizon（oculus quest2版）_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
这是一款僵尸主题的第一人称射击游戏(FPS)，专为移动VR而做。故事讲述在一个秘密的地平线实验室里，一种致命的病毒被打破了，把所有的员工变成了贪婪的食肉怪物。为了拯救人类，玩家需要探索昏暗的走廊，找到空间站的反应堆，阻止病毒的扩散。游戏中玩家有三种不同的武器，一支猎枪，突击步枪和重机枪来同亡灵大军战斗。游戏整体节奏比较紧张，阴森森的，配上音效，会吓到一身汗。
Down the Rabbit Hole
Down the Rabbit Hole（ 第三人称解谜类VR游戏） 全流程视频 无解说 Gameplay part 1_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
这是瑞典斯德哥尔摩游戏工作室Cortopia Studios开发的一款可爱向的VR叙事冒险游戏，游戏故事的原型来自于经典童话《爱丽丝漫游仙境》，主人公是一个小女孩，她掉进兔子洞中，遇到各种困难、偶遇各种人物，而你则需要通过一系列操作来帮助主人公化险为夷。是一个可以让小姑娘找回童心的小游戏。
内容生态
尽管很遗憾没有体验半条命这类最大热的联网游戏，但整体来说Quest2上的应用还是让我非常震惊了，很多都做的既有内容、又有画面、又有沉浸感，极大地释放了VR游戏对人的吸引力。
从数据上看，目前，超过60个Oculus开发商实现了百万美元级别的营收（截止2021年1月）。 一些VR开发者也同样证实了Quest 2带来的更多用户流量，比如《Rec Room》社群负责人Shawn Whiting就表示：Quest 2首发当日销量是Quest的250%，而且Quest 2同时在线人数也比Quest更多。Cloudhead Games CEO Denny Unger也透露，自Quest 2发售以来，《Pistol Whip》销量翻了10倍。在上周竞核的直播上，Contractor的开发者将游戏上线90天内在Oculus上的销量与Steam上的销量进行比较，分别为100K和30K。
对于为什么Oculus会具备如此健康和优秀的内容生态，我认为最直接的一个原因在对商店内应用的质量把控上，Oculus对技术非常之严格，他们为每个应用设置了一顶的门槛，从深度（细节）、时长、精致度（视觉效果，例如对游戏帧数要求达到了70以上）、价值（性价比）四个方面审核，为用户打造了一个体验感和价值足够高的商店。
从另一方面，根据资料以及对相关人员的采访，我们也可以总结出Oculus在内容生态上的战略，促使Oculus以极其快的速度蓬勃增长。 它的战略总结为一个关键词就是鼓励“众数”。
大多数应用生态更看重开发者收益，而不是为消费者匹配最适合的软件。这样做的缺点是，开发者进行越多推广（自己寻找更多用户），才更有可能提升应用下载量，无法仅依靠平台本身的推广机制。 在这样的竞争环境下，大型开发公司比独立工作室更有优势，对于独立开发者并不公平，而且也会降低平台内容的多样性，造成受众越来越有限。
而Quest的战略是，确保中等人气的应用数量最大化，以此来吸引更多开发者去尝试开发更多样化的内容。这样做的最终目的是，让即使在其他平台受众小的VR软件，也确保在Quest上找到更多用户。从而保证商店中应用的多样化和质量，以吸引更多样化的用户群体。
交互体感
最后，我想来讨论一下Quest2的交互体感以及VR设备在未来与世界交互模式的演变。
Quest2给备了一对6Dof的手柄，具有按键、动作捕捉和震动反馈等主要交互功能。其左右手的手柄各有一个摇杆（可按压）、三个按键和两个扳机键。握持手感整体不错，一旦握住了正确的位置，大拇指、食指和中指（三个机位）各司其职，可以模拟点触、拾取等动作，分配合理。但是还没习惯的时候就经常会分不清楚左右手，也不会一下子就握持到正确的位置——个人感觉与我物理上握持的本能有些相差。
除了手柄，Oculus在第一代Quest发布后引入了手部追踪功能，并且该功能也可在Quest 2上启用，这是主交互方式之外一个额外选择，相对来说Quest 2的手部识别也比较准确。语音命令（1代也同步上线该功能）也是Quest2交互的一个选择。
我认为交互形态是未来VR（包括AR）最具有想象力的地方，虚拟现实的大范围推广与其说是显示技术进步，不如说是一场交互方式的新革命——不过这也是它们能得以真正大范围推广最具挑战的地方。就像苹果和后续的智能手机产业花费近20年将人类驯化为屏幕上舞蹈的人，你能想象VR最后会以何种交互方式自然而本能地融入我们的生活呢？
资料来源：Columbia University，RATATYPE，2019年世界机器人大会，中金公司研究部
目前主流VR设备的交互方式，比如手柄，个人认为还是过于偏向娱乐化了。虽然手柄的界面已经被众多游戏玩家熟悉，而且上面的扳机和体感反馈的体验感也不错，但如果要支撑例如未来的VR社交或更大范围地替代现实生活的一些环节，手柄的单一交互是完全不够的——这也间接导致人们目前对VR的潜力的预期也多停滞于娱乐和消遣。
在这个交互问题上，从逻辑上，我自己比较看好让技术去适应或捕捉人本能的一些反应或状态，而不是用技术来驯化人类学习操作。再拿智能时代的触控屏举例，虽然让现代的人们接受触控屏虽然也花了很长的时间，但不能否认，触摸我们感兴趣的事物，拖拽、点触它们，这确实都是我们的本能。
那么在具体的技术路径上，我认为眼球追踪、手势追踪、面部和姿态追踪以及还较为遥远的脑机接口才是VR交互的终极形态。
眼球追踪、手势追踪、面部和姿态追踪最大的用处在于更深地immerse用户进入那个打造的世界，并在这样的另一个世界中感受到being existed。但从技术上，这三者说到底就是计算机视觉和AI的深刻应用，相对来说其技术的成熟度阶段也已经走出了“死亡之谷”。在手势追踪方面，Facebook就展示过其手势追踪的最新进展，单手跟踪成功率可达100%，Facebook也认为这项技术将这项技术应用在VR社交中，与虚拟角色交互。

在面部和姿态追踪方面，Facebook曾公开的Codec Avatar已经利用容积摄影技术来对用户面部特征进行捕捉，并通过VR头显上的多颗摄像头追踪角色的面部活动。扎克伯格对这一技术在虚拟社交领域的应用充满了期待：“面部追踪功能，将为用户带来更为逼真的VR社交体验。”
而肢体追踪方面，Facebook展示的一种基于单目摄像头的无标记体感追踪方案，不仅能识别人体骨骼姿态，甚至还能识别出人体肌肉活动状态。值得一提的是，它基于单目摄像头，无需多相机阵列组合，大大降低硬件成本。

最后是更显得遥不可及的脑机技术，在我们这些消费者来看就是一个非常疯狂的想法。但实际上，Facebook等大厂或一些小型初创公司已经具备了简易版本脑机产品的商业化落地和量产的可能性，我们可以从放出来的一些消息中看一下这一魔幻技术到底进展到哪一步了。
资料来源：ResearchGate，KenResearch，PennToday，中金公司研究部
消息比较多的就是Facebook收购的CTRL-Labs。CTRL-Labs已经实现了捕捉肌电信号与脑电信号结合，并完成设备控制。目前，CTRL-Labs已经把该技术用于笔记本电脑控制，能够在不作出任何动作的情况下实现基础的鼠标、键盘操作。在并入Facebook的虚拟现实部门后，市场期望其能够把脑机接口技术与Oculus VR结合，优化用户体验并减少VR所需活动空间。
埃隆马斯克的Neurable非常有名就不提了。来自法国的神经技术初创公司NextMind也因为在CES展上的亮相引发大量关注。该公司小巧的产品Nextmind可以贴在用户的后脑勺，辅助现在的VR头显设备来读取你在看什么（目前仍处于早期阶段，检测速度较慢，且只能识别出在看某种模式的东西，从某种程度上来看，可将其理解为一个眼动追踪装置，只是该装置追踪的不是人眼，而是脑电波）。

目前，脑机技术还只像一部电影刚刚发布了第一支预告片，现在就已经在电影院坐等还稍早了一些。但如若想象一下，有一天在使用VR设备，触摸虚拟的草地时能触到刺痒、能闻到清香，在虚拟世界移动时能感受到肆意奔跑的快感，与远方的恋人虚拟玩耍时能看到对方真实的笑容，我相信每一个人都会为这个未来保持最大的耐心和期许吧。
以上就是我对Quest2这款最优秀的VR产品的非专业测评，以及一些有的没的的拓展和研究。期待更专业的童鞋能多与我探讨，对理解有误的地方提出批评指正！最后还是欢迎关注我，如果觉得还不错的话，点个赞哦！