Libspatialaudio简介
Libspatialaudio是一个开源的跨平台C++库,专门用于Ambisonic音频的编码、解码、过滤和双耳化渲染。它的主要目标是在多种环境下(从耳机到传统扬声器)渲染高阶Ambisonic(HOA)和VR/3D音频样本。这个库不仅可以用于处理Ambisonic输入,还可以用于经典的5.1/7.1空间声道的双耳化渲染。
Libspatialaudio最初是从Aristotel Digenis的ambisonic-lib项目分叉而来的。当前版本进行了进一步开发,以支持更高阶的Ambisonic(HOA),并遵循Google空间音频规范和IETF codec Ambisonic规范来支持ACN/SN3D Ambisonic音频流。
主要功能
Libspatialaudio提供了丰富的功能,使其成为处理空间音频的强大工具:
-
编码与解码: 支持高达3阶3D的Ambisonic音频流的编码、解码、旋转和缩放。
-
输出灵活性: 可以输出到标准和自定义的扬声器阵列。
-
双耳化渲染: 通过应用HRTF(头部相关传递函数)来实现空间双耳渲染效果。支持使用SOFA文件或内置的MIT HRTF。
-
多通道支持: 双耳化功能还可用于渲染多通道流(如5.1、7.1等)。
-
距离模拟: 提供带距离的编码器,可以模拟声源距离感。
-
心理声学优化: 实现了用于2D和3D播放的心理声学优化架子滤波器。
-
灵活的处理器: 支持对声场进行偏航/横滚/俯仰操作。
-
缩放功能: 可以控制1阶3D前后主导性。
核心组件
Libspatialaudio的核心是CBFormat对象,它作为B格式的缓冲区。此外,库中还有几个其他对象,每个对象都有特定的任务,如编码、解码和Ambisonic处理。所有这些对象在某些时候都会处理CBFormat对象。
1. 编码器(CAmbisonicEncoder)
简单编码器支持高达3阶3D,不包含任何距离提示。
2. 带距离的编码器(CAmbisonicEncoderDist)
在简单编码器的基础上,增加了以下功能:
- 距离级别模拟
- 分数延迟线
- 内部效果(W-Panning)
3. 解码器(CAmbisonicDecoder)
简单解码器支持高达3阶3D,具有以下特点:
- 预设和自定义扬声器阵列
- 改进5.1扬声器设置渲染的解码器
4. 处理器(CAmbisonicProcessor)
- 支持高达3阶3D的声场偏航/横滚/俯仰操作
- 实现高达3阶的心理声学优化架子滤波器,用于2D和3D播放
5. 双耳化器(CAmbisonicBinauralizer)
- 支持高达3阶3D解码到耳机
- 可选的对称头部解码器,用于减少卷积次数
6. 缩放器(CAmbisonicZoomer)
支持高达1阶3D的声场前后主导性控制
实现算法概述
Libspatialaudio实现了几种先进的算法来处理空间音频:
心理声学优化架子滤波器
这些滤波器被实现为线性相位FIR架子滤波器,分别确保在低频和高频范围内的基本和最大rE解码。滤波器的过渡频率取决于被解码的阶数,随着Ambisonic阶数的增加而增加。
频率由以下公式给出:
f_lim = speedofsound*M / (4*R*(M+1)*sin(PI / (2*M+2)))
其中,speedofsound = 343 m/s, R = 0.09 m (大约是人头的半径), M = Ambisonic阶数。
双耳解码
双耳解码器根据阶数使用两种不同的虚拟扬声器阵列:
- 1阶: 立方体扬声器阵列
- 2阶和3阶: 十二面体
为了将卷积次数保持在最小,HRTF被分解为球谐函数。这为每个Ambisonic通道提供了一对HRTF滤波器。这种方法的优点是卷积次数限制在Ambisonic通道的数量,而与使用的虚拟扬声器数量无关。
对称头部双耳解码器
双耳解码器可以将双耳解码所需的卷积次数减少一半。
Ambisonic输入通道与左耳对应的HRTF通道进行卷积。左耳信号是这些卷积通道的总和。为了生成右耳信号,通过将几个卷积通道乘以-1来反射左右声场。然后将这些相加以产生右耳信号。
使用示例
以下示例代码展示了如何将正弦波编码为Ambisonic声场,然后通过四声道扬声器设置解码该声场:
// 生成单声道测试信号
float sinewave[512];
for(int ni = 0; ni < 512; ni++)
sinewave[ni] = (float)sin((ni / 128.f) * (M_PI * 2));
// CBFormat作为1阶3D,512个样本
CBFormat myBFormat;
// Ambisonic编码器,3阶3D
CAmbisonicEncoder myEncoder;
myEncoder.Configure(1, true, 0);
// 设置测试信号在声场中的位置
PolarPoint position;
position.fAzimuth = 0;
position.fElevation = 0;
position.fDistance = 5;
myEncoder.SetPosition(position);
myEncoder.Refresh();
// 将测试信号编码到BFormat缓冲区
myEncoder.Process(sinewave, 512, &myBFormat);
// Ambisonic解码器,1阶3D,用于5.0设置
CAmbisonicDecoder myDecoder;
myDecoder.Configure(1, true, kAmblib_50, 5);
// 为扬声器馈送分配缓冲区
float** ppfSpeakerFeeds = new float*[5];
for(int niSpeaker = 0; niSpeaker < 5; niSpeaker++)
ppfSpeakerFeeds[niSpeaker] = new float[512];
// 解码以获取扬声器馈送
myDecoder.Process(&myBFormat, 512, ppfSpeakerFeeds);
// 释放扬声器馈送缓冲区
for(int niSpeaker = 0; niSpeaker < 5; niSpeaker++)
delete [] ppfSpeakerFeeds[niSpeaker];
delete [] ppfSpeakerFeeds;
总结
Libspatialaudio为开发者提供了一个强大而灵活的工具,用于处理Ambisonic和空间音频。无论是VR/AR应用、游戏音频,还是沉浸式音频体验,这个库都能提供所需的功能。通过支持高阶Ambisonic、双耳化渲染和各种优化算法,Libspatialaudio为创建丰富的3D音频环境提供了坚实的基础。
对于那些希望深入了解空间音频处理的开发者来说,Libspatialaudio的GitHub仓库提供了详细的文档和示例代码。随着VR和3D音频技术的不断发展,Libspatialaudio无疑将在未来的音频处理领域扮演越来越重要的角色。
