目前音频处理领域各种系统的参数优化研究,通常把系统的各个层次(一般包括特征提取、特征向量生成、模型训练等)割裂开来进行相互独立的参数寻优,再将独立寻优结果进行简单组合,构成系统的参数取值。这种方法的前提假设是各个层次的参数选取相互独立,跨层次不会对识别效果造成影响,而实际的研究和应用中,这一假设并不能得到满足,因此需要联合各个层次的参数,选择适当的优化算法进行多层次参数联合优化,以提高系统参数优化的效率和效果。
不同的优化算法被应用于不同的音频处理领域的优化研究之中。遗传算法是一种随机搜索优化算法,是基于生物进化过程中选择、交叉和变异机制提出的。它具有不依赖于问题的梯度(或导数)信息,隐并行性,全局收敛的特点。遗传算法在最优化、模式识别、神经网络、图像处理、机器学习、工业优化控制、自适应控制、生物科学等领域都得到了应用。其中,最优化领域的成功应用,使遗传算法成为目前为止最为广泛和最为成功的进化算法。
遗传算法是模拟了生物进化机制的计算模型,是一种基于选择、交叉、变异的随机搜索算法。其主要特点是群体中各染色体的搜索机制和信息交互机制,在搜索过程中不依靠梯度信息,而且能够自动获悉和累积搜索空间的相关知识,并自动控制整个搜索过程从而快速地逼近最优解。因此遗传算法不同于传统的优化算法,具有良好的全局优化能力。
遗传算法的对象是群体中的所有个体,并在编码的参数空间中对参数进行快速随机搜索得到最优解。其中,遗传算法的三个基本操作是选择、交叉和变异;遗传算法的核心内容的五个要素是参数编码、初始群体的设定、适应度函数的设计、遗传操作设计、控制参数。遗传算法一种经典的全局优化搜索算法,研究学者对其进行了全面的研究和改进,在各个领域都应用广泛,取得了良好的效果。
遗传算法的特点:
1. 自组织、自适应和自学习性;
2. 遗传算法的本质并行性;
3. 遗传算法不依赖于其他辅助内容,只需要针对目标函数和适应值函数进行相应的处理分析;
4. 遗传算法简单,适用能力强;
5. 对于目标函数,可以搜索到很多解,但选择权归使用者所有。
图1 遗传算法原理图
音频事件识别系统多参数优化
多层次多参数优化的目的是解决多层次联合参数优化难以实现的问题,求解音频事件识别系统的底层特征提取层、特征向量生成层和模型训练层的参数最优值,提高系统识别准确率,并与现有的针对单一层次进行参数优化的研究方法进行对比分析,凸显出多层次联合参数优化方法的效果。将遗传算法应用于音频事件识别系统的多参数优化中,分析各层次的参数,设计多参数级联编码方法,提出针对模型训练算法的适应度函数,确定参数优化的循环终止条件,逼近最优解。
1 多层次多参数级联编码
在音频事件识别系统的多层次联合参数优化过程中,首要解决的是待优化参数的遗传编码问题。针对多个参数优化的情况,采用多参数级联编码,即将各个参数分别用二进制编码码制进行编码,然后将他们的编码按一定顺序连接在一起就组成了表示全部参数的个体编码,各个参数的上下界可以不同,编码精度也可有所不同。
设一个个体含有n个参数,采用二进制编码,建立位串空间。各维参数的二进制编码长度为li,那么x的编码从左到右依次构成总长度为的二进制编码位串。相应的遗传算法的编码空间为SL={a1,a2,…,ak},K=2L。该空间上的个体位串结构为:根据所需的编码精度δ,则参数编码长度为
2 设定参数优化适应度函数
利用遗传算法进行参数优化,适应度函数是根据音频事件识别系统应用的机器学习方法确定的,因此需提出了基于AdaBoost算法的适应度函数。
在模型训练层应用AdaBoost算法,迭代结束得到的强分类器为
令则在模型训练层应用遗传算法进行联合参数优化时,本文将个体的适应度函数定义为N个测试样本得到的次大的L(x)值Lmax(x)’的和与最大的L(x)值Lmax(x)的和的比值,定义公式如下:
此时,当值越大时,分类器的区分程度越好,系统的识别准确率越高。
3 优化操作的循环终止条件
对各层次的参数进行优化后,音频事件识别系统的识别过程如图2所示。
图2 音频事件识别系统识别过程
将音频事件识别系统的总体准确率作为性能指标。总体准确率反映多类别分类器的整体识别性能,可由经十折交叉得到的测试结果的混淆矩阵计算得到,对于给定的N维混淆矩阵C,总体准确率P的定义为:
其中,混淆矩阵C的产生过程可见图2。
遗传优化算法中,迭代终止条件可采用音频事件识别系统的总体准确率作为迭代终止的依据,定义公式如下:
其中M是x1,x2,…,xk的均值,k=5表示进行测试的次数。当满足上式时,迭代终止。
利用遗传算法对多参数进行优化,验证了音频事件识别系统参数优化方法的有效性,解决了多层次参数优化问题。
高晓芳
2015.1.28
原创文章,作者:BFS,如若转载,请注明出处:https://www.isclab.org.cn/2015/01/28/%e9%9f%b3%e9%a2%91%e4%ba%8b%e4%bb%b6%e8%af%86%e5%88%ab%e5%8f%82%e6%95%b0%e4%bc%98%e5%8c%96%e6%96%b9%e6%b3%95/