---

新智元报道

编辑：好困 小咸鱼

想象一下，你正在和朋友的3D虚拟化身拼一个3D虚拟拼图。

当你从桌子上拿起一块虚拟拼图时，能真切地感受到拼图就在手中，就是手指会停住的那种，效果大概就像下面这样。

拿起来观察的时候，不仅能够看到，也能摸到拼图边缘的锋利和表面的光滑。然后，把拼图放到正确的位置时，「咔哒」一下，严丝合缝。

再想象一下，你来到一家咖啡馆「掏出」一个虚拟的屏幕和键盘。

这个键盘可大可小，而且还能在「红轴」、「青轴」等各种不同手感之间来回切换，虽然看起来其实就是在敲空气。

是不是看起来非常像「元宇宙」中的场景？

没错，这就是Meta的现实实验室（Reality Labs, RL）在解决元宇宙中的一个核心挑战——「如何触摸虚拟世界」上做出的一点点努力。

无非就是研发了7年，整了点新的材料、新的传感器、新的执行器、新的集成和系统方法、新的渲染算法以及新的物理引擎。

毕竟都改名叫Meta了，不拿出一些Metaverse方面的研究成果怎么行。

用手套触摸「元宇宙」

现在的VR技术，虽然能通过手持设备操作虚拟的物体，但是用户却完全无法感受到它们。

这个时候，如果有一个时尚、舒适、实惠、耐用、柔软、轻便的触觉手套，就能解决在使用VR和AR时面临的交互问题了。

这个手套不仅可以准确地将佩戴者的手部动作反馈给计算机，而且还能重现一系列复杂、细微的感觉，如压力、纹理和振动，创造出用手感受虚拟物体的效果。

如果想还原真实的触感，手套上就必须搭载数百个执行器 （微小的马达），并且能够以一种协同运动的方式使佩戴者感觉他们正在触摸一个虚拟物体。

然而，工作刚开始两年，团队就遇到了传统电子和金属器件的限制。

用现有的机械执行器制作出的手套无法舒适地佩戴一整天。不仅僵硬、昂贵、耗电，而且无法呈现真实的触觉感受。

Meta RL则希望可以通过全新的材料制作一种柔软且有韧性的执行器，而且还可以根据佩戴者的动作改变形状。

「显然，你不能在手上安放1000个电机和各种用来连通的电线，」Meta RL研究硬件工程总监Tristan Trutna解释道，「即便能实现，从物理层面上来说，也并不适合。手套的质量和使用时产生的热量都太大了。」

现实你也猜到了，这种执行器并不存在。

于是，团队决定转向软体机器人和微流体的新兴领域，这其中的技术分别常用于假肢和PoC诊断设备。

经过一番研究，近两年Meta RL在气动执行器（使用气压来产生力）和电动执行器（在有电场的情况下改变形状或大小）方面都取得了重大突破。

为了控制这些新的软执行器，Meta RL制造了世界上第一个高速微流体执行器。通过手套上的一个微小的微流体芯片，告诉阀门应该在何时以多大程度打开和关闭，从而控制输入执行器的气流。

Meta RL研究科学家Andrew Stanley指出，「对于VR或AR的触觉互动来说，执行器需要非常迅速地对指尖进行加压，而利用空气就可以做到。」

有了流体逻辑电路，Meta RL能够通过减少控制大量执行器所需的机电阀门的数量来消除系统中沉重的组件。

精确构建画面的触觉「渲染」

即使有了控制气流的方法，手套也需要知道何时何地提供正确的感觉。

这就需要使计算机能够准确地知道你的手在虚拟场景中的位置，你是否接触到了虚拟物体，以及你的手是如何与物体互动的。

为此，Meta RL推出了一种新的渲染软件，能够根据手的位置和对虚拟环境的理解，包括其中虚拟物体的纹理、重量和硬度，在准确的时间向手上的执行器发送正确的指令。

「通常认为『渲染』是指视觉效果」，Meta RL软件工程师Forrest Smith说，「我们也用『渲染』这个词来形容触觉。我们在这里做的是把虚拟世界的状态和你与它的互动，渲染到执行器上，这样你就能感受到相应的感觉。」

其中，物理引擎（用于模拟视频游戏中物体互动的软件）决定了你的手在与虚拟物体互动时应该接受的力的方向、大小和位置。

而触觉渲染算法将这些信息与触觉设备的特性（如各个执行器的位置和属性）相结合，从而能向设备发送正确的指令。

结合听觉、视觉和触觉的反馈

随着团队的工作进入第四年，第三个挑战出现了。

为了使触觉发挥作用，Meta RL必须模仿现实来建立物理模型，但又不能完全重现现实世界的物理学。

虽然触觉手套可以提供有价值的反馈，但它们不能完美地阻止你的手指在试图抓住一个虚拟物体时闭合，也不能阻止你的手在虚拟桌子上停留时穿过桌子。

这怎么解决呢？

于是，他们又转向了感知科学和多感官整合，去研究人类的感官如何共同作用以建立我们对世界的理解。

佩戴者体验研究科学经理Sophie Kim解释了该团队是如何利用人类的感知能力来创造足以令人信服的感觉的。

她说：「我们的大脑非常善于利用一点点触觉信号、一点点视觉信号、一点点听觉信号，并将它们融合在一起，真正感受到这种感觉，并确信有一个物体存在于你的手中。」

Meta RL感知研究科学家Jess Hartcher-O’Brien描述了在VR和AR中的感官整合可能是怎样一种感觉。

「例如，当我准备拿起一个立方体时，会对它的材料类型和它可能的重量有一个假设。」

「在触碰到这个立方体的一瞬间，我就会把关于它的材料属性的视觉线索和触觉反馈结合在一起。」