近日，FacebookCEO扎克伯格透漏公司正在研究一款可用作AR眼镜的脑机接口技术，但该技术并非将AR眼镜以植入性芯片的形式展开，而是期望能研发成可量产的可穿着技术。类似于《刀剑神域》中那般脑机模块被指出是虚拟现实的最后形态，也是最理想的形态，然而这个离我们或许还有些很远。仍然想发展VR社交的Facebook，一旁在规划几十年后的未来，同时也在踏踏实实地回头好每一步。

比如刚发布的CodecAvatars技术，竟然VR社交中的虚拟世界人物表情动作超过了十分现实的状态，好像在虚拟世界中重制了一个“现实”的你。研究助理AutumnTrimble于是以躺在“Mugsy”里面，Mugsy正是Facebook坐落于匹兹堡的FacebookRealityLab（FRL，原本Oculus研发实验室OculusResearch），用作创立“codecavatars”的捕捉设施之一。视频画面中有一名年长女子，她的眼睛闪烁着光芒说道：“门口车站着一个大块头的傻瓜。

然后他说道：‘你以为你是谁，莲娜·荷恩（上世纪美国超级黑人巨星）吗？’我说道虽然我不是荷恩，但我就像姐姐一样理解荷恩。”上面这段台词来自沃顿·琼斯的戏剧《1940年的广播时刻》的开场。画面中的年长女子之后说道着这段台词，能看出来她很确切自己在做到什么。

当她详尽描写门卫的声调变化时，脸上荡漾出笑容，就像在跟你谈笑话一般。她咬字精确时，嘴唇的形状不会再次发生恰到好处的变化，声音抑扬顿挫。她的表情经过如此细致的校准，朗诵台词时如此地胸有成竹，再行再加黑色背景，恍然之中你不会实在自己好像于是以置身于百老汇剧院，眼前在首演的正是上世纪70年代后期的百老汇戏剧。

唯一的不足之处就是：她脖子以下的身体都消失不知了。YaserSheikh伸出手暂停了视频的播出。

刚画面中的年长女子实质上是一个看起来极为细致的VR虚拟化身，她令人精彩的展现出背后是搜集的数据在运作。Sheikh是FRL的负责人，他还拿走了另一个令人印象更为深刻印象的视频。在该视频中，刚的那个女子和一个男子都戴着VR头显。

在屏幕的左侧，真实世界中的他们于是以戴着头显在聊天；而与此同时，在屏幕右侧，他们的虚拟化身正在听得着精彩绝伦的音乐会。他们聊天的话题却很稀松平时，闲谈的是冷瑜伽——这样的场景是对未来生活的惊鸿一瞥。

Facebook的新的白科技：CodecAvatars多年以来，人们在虚拟现实中仍然都是通过电脑分解的虚拟化身来代表我们展开对话。VR头戴设备和手执控制器都是可追踪的，所以我们在现实世界中的头部动作和手部动作可以经常出现在这些虚拟世界对话场景中，这些无意识的习惯动作也为虚拟世界中的对话平添了至关重要的一点——人与自然感觉。然而，即使我们的虚拟世界对话显得更为大自然，由于技术容许，虚拟世界对话在视觉上不能维持在很非常简单的程度——就像RecRoom和Altspace这样的社交VRApp一般，不能将我们的形象抽象化成漫画，基本会（如果有的话）同构出有我们在真实世界的表情。

但Facebook的新技术Spaces需要用社交媒体照片分解一个形象细致的动画形象，但有些表情依然依赖按钮或手柄来启动时。即使像技术拒绝更高的平台，如高保真领域，它的确可以让用户引入自己的3D扫瞄模型，但如果拒绝虚拟世界形象感觉像你一样栩栩如生，道阻且宽。

最初，YaserSheikh和他的团队在匹兹堡市区东部的权利社区出租了一间小办公室开始展开这项技术的研发工作，目前他们已搬卡内基梅隆校园内，空间更大，并计划在未来一两年内再度拓展。FRL称之为这项技术为CodecAvatars，是用机器搜集、自学和修复人类社交表情的结果。目前，他们还没准备好月发售这项技术。最差的情况是，还必须花上上几年时间，前提是他们最后需要沦为Facebook部署计划中的一部分。

但是FRL团队早已准备好开始大展拳脚了。Sheik说道：“如果我们知道能把这件事作好，意味著是十分震撼的。我们想要把它做到出来，聊聊它的用武之地。

”他脸上带着胸有成竹的笑容，对于团队能已完成这项技术变得信心十足。1927年，美国人类学家、语言学家爱德华·萨丕尔公开发表了一篇文章《无意识的社会不道德模式》。

在文章中，萨丕尔提及人类对姿态的反应是“一种简单又谜样的代码，没文字描述，无人得识，却众人皆知”。92年之后，萨丕尔所说的仪器“代码”沦为了Sheikh为之大大希望的任务。在Sheikh转入Facebook之前，他是卡内基梅隆大学的一名教授，负责管理研究计算机视觉与社交感官之间的空集。

2015年，当OculusVR首席科学家迈克尔·阿布拉什（MichaelAbrash）与他联系，辩论AR和VR未来的方向时，Sheikh毫不犹豫地共享了自己的愿景。现在，Sheikh手里总是末端着一杯咖啡，他说道：“VR的确实允诺是戴着上面贞展开像视频中这样的对话，而不是飞到特地看到我。你能看见的形象，不是卡通版本也不是怪物版本，而是你在真实世界里的不道德粗鲁和音容笑貌。”在Sheikh为该设施编写的完整文件中，他将其叙述为“社交实验室”，所指的是大脑对虚拟环境和对话作出反应的现象，如同对现实环境作出的反应一般。

然后，他还写到他们指出在7－8名员工的希望下，需要在五年内研发出有照片级程度的虚拟化身。这项项目虽然保有下来了，但回应的希望却再次发生了转变。这也某种程度体现在其实验室的名称上：OculusResearch去年更名为FacebookRealityLabs。CodecAvatars的原理很非常简单，是一种双重测试，Sheikh称作“自我测试”和“母测试”：你应当爱人你的形象，被你所爱的形象也应当爱人你。

落成虚拟化身的过程要简单得多。第一次用于是在一个取名为Mugsy的圆顶状房间里，房间中的墙和天花板上八边形着132个现成的佳能镜头和350个灯光，皆探讨在椅子上。

躺在房间中心的感觉就看起来置身于一个由狗仔队构成的黑洞里。Sheikh还说道：“我之前给这个地方起名叫“Mugshooter（脸部狙击手）”，但是之后我们实在到这是一个一挺可怕的名字，不好。”不过Mugsy早就经历了几次改版，Mugsy的摄像头变多了，能力也显得更加强劲，把那些老早的设备（比如在一根绳子上绑上乒乓球，让参与者的脸维持在适合的方位上，就像车库里的车一样摆正）出局了。

在Mugsy中，研究参与者花上了约一个小时躺在椅子上，制作了一系列超大的面部表情和大音量的朗诵声线，而另一个房间的员工通过网络摄像头指导他们如何作出必要的表情。“像鱼那样活动脸颊，”技术项目经理DanielleBelko说。另一个取名为Sociopticon的捕捉设施不会更佳地应用于第二个捕捉区域（在重新加入Oculus／Facebook之前，Sheikh在CarnegieMellon创建了它的前身PanopticStudio）。Sociopticon看上去很像微软公司的MR捕猎工作室，虽然具有更好的照相机（180到106）、更高的分辨率（2．5K）和更高的帧速率（90Hz）。

当Mugsy集中于捕捉面部表情时，Sociopticon协助CodecAvatar系统理解我们的穿著，以及我们的身体如何展开移动。因此，人们在那里的时间并某种程度是活动面部表情，还要摇晃四肢，四处冲刺，通过网络摄像头与Belko嬉戏。

这一切的关键是尽量多地捕捉信息，Mugsy和Sociopticon每秒可以搜集180千兆字节的信息，以便神经网络尽量自学从每个有可能的角度将表情和运动同构到声音和肌肉。它捕捉的信息就越多，其“深度外观模型”就就越强劲，从而更佳地将信息编码为数据，然后在另一端，另一个人的头显将其解码为虚拟化身，这就是CodecAvatars中的编解码的过程。这某种程度是完整的测量。正如研究科学家JasonSaragih告诉他我那样，他们还必需将数据说明出来。

却是普通用户的起居室里并没Mugsy和Sociopticon，他们只有AR／VR头显。虽然2020-03-30 的VR可穿着设备被称作头戴式显示器，但FRL的研究人员早已创立了一系列HMC或头戴式捕猎设备。这些HMC在面部各个区域设置了红外LED和照相机，容许软件将数据新的带入到人的形象中。

在旋即的将来，Sheikh和他的团队期望需要将面部扫瞄扩展到整个身体，因此软件必须需要解决问题Saragih所谓的“外在性”，否则虚拟世界交互将会那么细致。例如当人们正处于黑暗状态时，系统必须展开补偿。如果你将手放到背后，系统必须解决问题这个问题，这样如果你的朋友在VR中跑到你背后，他们就可以看见你的手在做到什么。

还有一些其他的东西，比如预测用户的移动方式，从而确保虚拟化身的运动能尽量成功，但它们都目的避免变量，让你的虚拟世界形象沦为一个不受约束、纯粹的代表。体验：效果精彩，有所瑕疵把人的形象栩栩如生的展现出出来很难，这才是事实。

即使是超级大片一般的电子游戏也不会在头发、眼睛、鼻子和嘴巴内部等细节上绝望，总会有一些部分让它们看上去并不看起来几乎的人类。根据我对捕捉过程的经验，当我戴着上面显与Sheikh和研究员SteveLombardi展开动态聊天时，我预期在VR中会经常出现某种程度的情况。但事实上并没。

Sheikh的化身虽然没他现实生活中那样的胡子或圆形眼镜，但这就是他，并且是几乎的他。当他邀我附近并仔细观察他脸上的胡茬时，感觉十分具备侵略性。SteveLombardi也是这样，当后来他的真人走出房间时，我实在我早已了解他了，尽管我只在VR中见过他。虽然结果并不极致，例如当人们激动地说出时，他们虚拟化身嘴巴的动作并没和语调互为统一，此外头发虽然根根明晰，但周围总有一个模糊不清的光环，舌头看上去也有些模糊不清，但总体显然，效果是令人深感不能置信的好。

这次的体验是一个很真是的经历，同时也很困难。虽然CodecAvatars还是一个研究项目，但我们现在早已对它有了一定理解。之前大火的AI换回脸程序Deepfakes可以凭空建构面孔，人们的数据隐私、错误信息活动和恶性不道德早已沦为当下互联网上十分现实的问题。

随着VR和AR经常出现并沦为人类主流的通信平台，这些问题将不会显得更为相当严重。你实在网络上的侵扰很差劲吗？你指出能减少反映个人空间的VR不会令人不安吗？人们回应还没充足的理解。Sheikh解读这种忧虑。

“真实性不仅对CodecAvatars的顺利至关重要，对于维护用户也很最重要，”他说。“如果你收到你母亲打电话的电话，你听见了她的声音，那么你会产生任何疑惑，因为她说道的就是你所听见的对吗？我们必需创建这样的信任，并从一开始就维持。”他提到HMC上的传感器作为证书的最重要手段：我们的眼睛、声音甚至习惯都是一种生物识别技术。

在过去几年中，环绕数据隐私和虚拟现实的对话更加多，而这样的突破可能会使他们的热度超过一个新高度。对于VR在过去十年间所获得的所有变革，像CodecAvatars这样的技术代表了我们正在向全新体验阶段过渡性。

每年在OculusConnect开发者大会上，迈克尔·阿布拉什都会上台演讲，并发布公司的近期研究和创意项目的状态。随着时间的流逝，他更加寄予厚望VR的一些突破。他说：“我不是在开玩笑说道四年内就一定能研发出有令人赞叹的虚拟世界形象，但这也不是几乎不有可能的事。

”现在和YaserSheikh躺在一起，我回答他对当时阿布拉什的宣言有何感觉？“他是对的，”他微笑着喝着咖啡说。

本文来源：kaiyun·网站ios-www.yuan-t.com