PlayStation 5首席系统设计师Mark Cerny解释了3D音频的Tempest Engine

 
PlayStation 5首席系统设计师Mark Cerny透露了有关Tempest Engine的更多细节，这些声音使声音似乎来自索尼即将推出的游戏机中的多个方向。
在今天的视频演示中，Cerny深入研究了该控制台的技术设计，该技术有望在2020年末首次亮相。索尼拥有更强大的处理能力，正在通过专用的Tempest Engine大量投资于3D音频，并定制化设计。声音显得更真实，更符合情境。
挑战在于，玩家可以使用多种不同的方式收听当今的游戏，包括各种耳机，电视扬声器或具有多达七个扬声器的环绕声系统。索尼针对耳机进行了优化，并且仍可以在电视和环绕声系统上工作。
使用PlayStation 4，音频通常会获得非常小的可用处理能力，甚至比索尼PlayStation 3的Cell处理器的SPU(协同处理器单元)内核还要少。相比之下，PSVR虚拟现实耳机具有50种不同的声源。 Tempest Engine具有足够的处理能力(一种处理称为单指令，多数据或SIMD)，因为PS4的所有八核处理能力都已结合在一起-仅用于3D音频。
但是PS5的新Tempest Engine将支持数百种音源，这意味着在游戏中听到声音可能来自数百个不同方向。当您遇到雨滴之类的东西时，您会听到它们来自许多不同的方向。这将使您有一种临场感，就像您被运送到其他世界一样。
 

 
您还可以更精确地跟踪位置或对象的位置。如果有敌人偷袭您，您将可以更好地告诉您。这样的声音效果在当今的游戏中很常见，但它们常常被混淆。我记得玩过Fortnite游戏并听到了房子里的脚步声。但是我不知道这些声音是从哪里来的，在搜寻房屋时我被伏击了。
最大的挑战之一是我们所有人听到的声音不同。我们的耳道都不同，因此声音进入我们的耳鼓的路径也不同。
音频研究人员将声音和方向的结合称为我们的听觉方式，他们可以用与头部相关的传递函数或HRTF进行测量。您可以在上图中看到一个示例。每个人都有不同的HRTF，您可以在特殊的实验室中进行测量。有些人可能根本无法识别空间音频。
索尼无法做到这一点，因此它必须提供一个默认的HRTF并查看如何针对每个人进行修改。
“我们想要所有人都拥有3D音频，” Cerny说。
Mark Cerny，PlayStation 5的首席系统架构师。
而不是使用杜比全景声(Dolby Atmos)等现有技术，索尼决定自行完成3D音频的工作。但是它在PS5中创建了Tempest Engine作为自定义处理资源，以确保3D音频在系统中的整体处理中获得应有的份额。那很贵，但是索尼希望这个赌注能有所回报。
他说：“变化很多，因此拥有Tempest Engine的计算资源真是太好了。”
在游戏中使用HRTF非常复杂，因为声音似乎来自一个方向，或者来自现实生活中的一般区域。您可以想到脚步声与远方爆炸声。
为了处理各种声音设备，例如电视和环绕立体声扬声器，Sony正在开发一种名为Virtual Surround Sound的产品，它使您可以在沙发上甜蜜地聆听声音。团队正在努力改善它，以便您可以坐在的地方更宽，这是几年前工程师试图为电视上的3D观看提供更好的最佳点的方式。
但是Cerny说PS5的声音与旧版PS4的声音有很大的不同。
“我听了，哇，我感觉有所不同。改善是显而易见的，”他说。 “似乎声音来自现实世界，而不是游戏。”
Cerny表示，要在很多游戏中达到出色的3D音频逼真度，将需要几年的时间。
他说：“这是一段旅程。”