虚拟现实技术日益发展，VR游戏、VR视频给人带来的刺激体验让初次接触到虚拟现实技术的人赞叹不已。游戏中四面八方扑过来的敌人，视频中360度身临其境的视野，让人们对VR有了一个初步的认识。除了视觉上的震撼以外，VR中的声音效果同样重要。

VR中的音频技术

我们所处的现实环境中声音来自四面八方，因此对于周围的环境状况和发生的事能够产生直接、准确的判断，在虚拟环境中，同样需要让用户听到来自四面八方的声音，才有助于在虚拟环境中产生真正的沉浸感。

如何实现这一点？ 首先我们在日常的3D电影、3D游戏中已经接触到不少3D音效。看3D电影的时候，由于声源有确定的空间位置，声音有确定的方向来源，因此人们能够辨别到声源的方位。5.1环绕声的效果比双声道立体声更加“3D”，7.1环绕声比5.1环绕声更加“3D”，在一定上限范围内，音箱数量越多，3D环绕声系统的效果就越好。但这样的环绕声系统的音箱位置是在同一平面上，因此现在又有了“杜比全景声”， 在影厅的天花板上也装有音箱，这样观众就能听到来自头顶的声音，与环绕声是一样的设计思路。

而在VR中，观众处于场景中心，可以自主选择观看的方向和角度，用户要通过头显加耳机的方式感受VR体验，就需要在双声道立体声输出的耳机上听到来自各个方向的声音。

另一方面用户需要来回转动头部或者有大幅度的身体运动，因此还要考虑身体结构对于声音的影响。因此在VR中需要解决关键的两个问题，一个是怎么放，一个是怎么听。

首先，声音怎么放？在VR中制作声音时，要以用户为中心，在整个球形的区域内安排声音位置，确定某一方向基准后，画面内容与用户位置也就是相对确定的，以此来定位，既有水平方向的环绕声，也有垂直方向上的声音。通过水平转动和垂直转动这两个参数，就能控制视角在360度球形范围的朝向，以及与画面配合的声音的变化。

另一方面，用户只有一副耳机，如何实现电影院里杜比全景声的效果？这里面用到一项技术叫做HRTF（Head-related Transfer Function“头部传送函数”），该技术能够计算并模拟出声音从某一方向传来以及移动变化时的效果，类似于一个滤波器，对原始声音进行频段上的调整，使其接近人耳接收到的听感效果，并通过耳机来回放。

VR音效解决方案

基于这样的原理，不少厂商已经进行了尝试来创造VR中的音效。

Oculus

早在2014 年，Oculus授权VisiSonic的RealSpace 3D音频技术，并将其融入Oculus Audio SDK 中。通过跟踪器上所发来的空间信息来处理声音信息，让听者觉得该声音是从这个物体中发出来的。这项技术非常依赖定制的HRTF，通过耳机来再现精准的空间定位。

NVIDIA

到2016年5月，NVIDIA就推出了一个专门用于虚拟现实场景，第一个基于物理技术的声学仿真技术“VRWorks Audio”，借鉴了光线追踪渲染的思路，充分考虑了3D场景的渲染，通过将音频交互映射到3D场景中的物体上，使音频听起来更加自然。用户不断移动，能够听到回声的变化以及带来的空间感，除了能够判断声音是由该物体发出之外，还能判断出物体的方向、远近等等跟多的信息。

AMD

与英伟达类似，2016年8月，AMD在发布了一项名为TrueAudio Next的实时动态声音渲染技术，让虚拟现实中的声音和画面更为同步。

该技术同样使用物理方式模拟，让渲染的声音无限接近真实环境的声音，在虚拟建模中进行多次反射，利用Radeon Rays光线追踪技术让系统辨别VR空间布局并定位空间中的物体。AMD已将该技术开源。

谷歌

近日谷歌也与音频公司Firelight和Audiokinetic合作，推出一个VR音频插件。开发者利用该插件可以根据虚拟空间大小、材料以及对象位置的改变来调整声音，营造更加逼真的氛围。该插件可以无缝集成到Unity和Unreal引擎中，使用时开发者只需要对3D音频进行简单调节，能够很轻易地创造空间音频。

早在去年7月份，谷歌就公布了面向Web端的Omnitone，一个跨浏览器支持的开源空间音频渲染器。同样使用HRTF，但是他们主要解决的问题是，在已有的浏览器里引进环绕立体声技术，同时不能干扰浏览器本来的运行。

上图是谷歌Omnitone的解决方案。在环绕立体声里包含了4种声道，可在任一扬声器中解码。谷歌在Omnitone中设置了8个虚拟扬声器来渲染双耳音频流，将VR头显中的方向传感器数据与解码器无缝衔接，完成音场转换，从而让用户通过耳机就能体验到空间感。

Valve

Valve此前曾收购了音效公司Impulsonic，Impulsonic有一个基于物理的声音传播和3D音频解决方案，名为“Phonon”，近日，Valve开放了Photon音效工具的后续产物Steam Audio SDK。该方案能够通过空间音效增强VR沉浸体验，允许游戏的音频与场景几何体建立交互与反弹回音，从而增强体验。

Steam Audio支持Windows、Linux、macOS和安卓等多个平台，也不局限于特定的VR设备和Steam。

总结

已有的技术是可以实现360°全景声，可以通过声音辨别方向、距离。但是VR音频技术要求不仅仅能够在提供VR环境中物体的位置信息，更要反馈出更多的空间环境状态。

以一个恐怖游戏为例，当光线越来越暗，视觉必定受到限制，这个时候就要靠音频来确定环境状态，脚步声、风声、动物的叫声等都能为玩家提供信息，诱导下一步的行动和交互。因此，精准有效的音频技术在VR中特别重要，不仅仅是游戏、视频，还有其他例如教育、社交等领域，VR音频技术也需要进一步的成熟。