作者：杨晓楠，周瑾洁，罗森林等 BFS 北京森林工作室
算法简介
IBACodec 是一种新型的端到端语音编解码器，它可以有效地在广泛的比特率范围内压缩不同类型内容的语音。IBACodec设计应用了一个集成多注意力网络和 LSTM 网络的intra-inter broad transformer，使其能够捕获具有直接上下文感知的语音帧内和帧间之间的依赖关系，从而提高了重建音频的质量。此外，还提出应用了一种用于通道建模的dual-branch conformer，能够高度关注重要的语言信息同时去除冗余，以实现高效的音频压缩。下面的音频样本展示了IBACodec从低比特率到高比特率编码语音的效果.
音频展示
效果图
多比特率效果
Reference |
||||
|
|
||||
IBA-Codec (3.15kbps) |
||||
|
|
||||
IBA-Codec (5.5kbps) |
||||
|
|
||||
IBA-Codec (8.7kbps) |
||||
|
|
||||
Lyra (3.2kbps) |
||||
|
|
||||
Lyra (6kbps) |
||||
|
|
||||
Lyra (9.2kbps) |
||||
|
|
||||
EVS (5.9kbps) |
||||
|
|
||||
EVS (9.6kbps) |
||||
|
|
||||
EVS (13.2kbps) |
||||
|
|
||||
OPUS (6kbps) |
||||
|
|
||||
OPUS (9kbps) |
||||
|
|
||||
OPUS (12kbps) |
||||
|
|
原创文章，作者：BFS，如若转载，请注明出处：https://www.isclab.org.cn/2023/04/17/iba-codec-samples/