IA算法及其性能分析.doc

第三章 ICA算法及其性能分析 3.1典型的ICA算法 白从1994年Common提出独立分量分析算法以来，独立分量分析算法在国 际学界备受瞩0，同时也得到极大发展。各国学者纷纷投入极大的精力来对此算 法进行研究。在此基础上，独立分量分析算法在发展出了许多小的分类基础算法 如最大似然估计算法、最小互信息算法、最大熵算法、H-J算法、FastICA (又称 固定点算法)算法和非线性ICA算法等。我们在第三章中将着重介绍几种比较 重要的算法。 3.1.1最大熵算法 Bell和Sejnowski[24]是把Linskers的在处理任意分布的非线性情况的输入信 号的时候采用非线性函数间接获得高阶累计量，在这种情况K使用了信息传输最 大化理论(最大嫡)理论。而解决盲源分离问题则是利用了如果要求输出信号之 间的空间最小则传输信息量最大的的原理。而当要求输出最大熵时说明当时的状 态是从输入端传到输出端信息量最大，同时又有最大的输入和输出互熵。因此 Linkers的最大信息原理其实也可以描述成当输入与输出的信息量最大时，可逆 变换函数G的变化最人部分与输出变量的变化最大部分重合|561。 当使用人工神经网络时我们可以设置输出向量为wx,但是如果想要得到 输出向量少=30/) = ^^时，则需要将sigmoid函数代入非线性函数淤)。而最 1+e 人熵算法的迭代公式则可以通过随机梯度下降法对输出信号的微分嫡//(V)推 导出来l24j。 其中学习率为《，全1矩阵为八 同理，采用类似的随机梯度下降法进行推导时取y二tanhG/)，即非线性函数 g(-)用tanh函数的形式表达也可推导出如下迭代公式： 然后将己设置的输出向量i尸■代入y = tanh(w)可得的厂tanh(wx)代入(3.2)式 得： 最后通过自然梯度算法经过推导得出迭代公式: 由于非线性sigmoid函数在算法中使用（logistic函数的对数函数的再进行导 数是sigmoid函数），所以算法对于非超高斯分布的源信号无法分离，只能分离出 超高斯的源信号。而这种算法对于超高斯分布的源信号来说，只是加强了先验知 识，对于其他部分并无增强[58]。丁.\￥.1^，\1似1*0131^，及丁丄5加0\￥316在1999年 的论文屮对Informax算法提出/新的改进意见，通过算法本身的白适应要求设 定准则，对输入的源信号进行判断是否属于超高斯原信号还是亚超高斯源信号中 的某项，并根据两者之间的不同准则切换适用的概率模型，以达到同时分离超高 斯源和亚高斯源的目的。超高斯概率密度模型跟亚高斯概率密度模型和分别为 [61] O 如果式（3.5）及（3.6）可以用自然梯度法导出迭代公式（3.7）: 则必须满足及都是Gaussian分布。除此之外，还要满足 均值为//，方差为^2，而pd＞）则也要满足它是零均值的状态。 如果设置一个从维的对角矩阵/：，则可以通过设置的大小的方式判断出是 属于超高斯分布还是亚超高斯分布。当子元素满足々=1时，可以判断式（3.7） 中的％屌于超高斯分布；而当子元素满足々=-1,可以判断式（3.7）中的％属于 亚超高斯分布。再通过对源信号的统计特性并代入符号函数sgn及双曲正割函数 sec//进行估计可以得到么，可得： 3.1.2 H-J 算法 C.Jutten 与 J.Herault.⑽在 1991 发表的论文 An adaptive algorithm based on neuromimetic architecture巾最早的提出一种新的H-J算法，而这种算法也开创 BSS的算法新局而。完全不同于最大熵算法的设置准则先判断是属于超高斯分布 信号源或者是亚超高斯分布信号源，然后再使用算法迭代分离的方式。新的H-J 算法是通过建立神经网络的反馈机制，来实现输入信号的盲分离。当奋神经网络， 可以设置输入、输出及权值矩阵三个向量满尼同理即y = + 。 其屮x为输入向量，y为输出向量，fT为权值矩阵。 所带入的呎权值矩阵）的需要进行迭代，代入公式为： (3.9) 但是，gG)和gG)是奇函数，一般需要单独满足g|00 = ?或同时满足 该算法由于创新性的利用了信号的高阶统计性，在计算的时候的每一次运算 都要带入(/ +WQ逆矩阵进行重复运行，由于进行了多次重复运算使得计算量较 大，而且能够实际计算过程屮一直保持较好的收敛特性，当最后算法结束时所得 到的输出％和乃，能获取非常好的独立性l62j。 3.1.3最小互信息算法 在1994年P.Common论文己然证明了互信息是独立分量分析的目标函数， 不同于最大熵算法中，需要设置输入信号与输出信号间的嫡是最大的时候，信号 间的空间最小的最大摘原理，最小互信息(Minimum Mutuak Information,MMI)M 法的