基于递归神经网络的信息理论盲源分离准则.pdf

第6卷第】期 电路与系统学报 VoJ6．№ 2001年3月 JoURNAL March．2001 0FCIRCU兀1SANDSYSTEMS 立章编号：1007—0249(20叭)01．0040．05 基于递归神经网络的信息理论盲源分离准则+ 刘琚1， 聂开宝1， 李道真1， 何振亚2 山东大学电子工程系．山东济南250100；2东南大学无线电工程系，江苏南京210096 擒■-本文基于一个全连接递归网络结构，给出一种新的信息理论的盲源信号分离准则。该准则在保证最大化 信息传输的同时最小化输出互信息，从而使网络输出相互独立。由此准则推导的算法对传输中的信息损失引入r Hebb项。浚算法既可以分离超高斯源的混迭，又可以分离亚高斯源的混迭信号。计算机仿真结果表明了该算法的良 好分离性能。 关■调：盲信号分离：独立分量分析：互信息；神经网络 中圈分类号t TN911．72 文献标识码，A 1引言 近年来，多种神经网络以及训练算法【l。1被用于盲信号分离并取得了良好的效果。在已存在的方 法中，文献【3】首次提出了独立分量分析神经网络的概念，并得出一种自适应求分离矩阵的方法，使在 线进行盲源分离成为可能，但该方法对多个源信号混迭的情况不能分离。文献【l】、【2】都利用了线性 前馈神经网络，利用信息理论得到了求取分离矩阵的算法。其中文献【l】提出了信息最大化 (Infomax)方法，对每个网络输出单元进行非线性运算，以便得到最大信息传输。但信息最大化传 输不总能保证输出信号各个分量之间相互统计独立，只有峭度大于某一值而且非线性函数恰好逼近源 信号的概率分布函数时信号才可以很好地得以分离。文献[2】则根据统计独立的假设，利用Gran卜 下，最大化信息传输等于最大化输出熵，并且可以使输出相互独立，所以在某些情况下，该两种方法 是等价的。文献【3．5]利用递归网络结构得出了信号分离算法，运用递归网络的目的是它的适于硬件 实现和便于推广到带时延模型。这类算法在形式上与以上的算法是相似的，但算法中非线性函数的选 取推测是为了引入高阶统计，没有严格的理论依据。 本文基于一个全连接递归网络结构，给出一种新的信息理论的盲源信号分离准则。该准则在保证 晟大化信息传输的同时最小化输出互信息，从而使网络输出相互独立。由此准则推导的算法对传输中 的信息损失引入了Hebb项。该算法既可以分离超高斯源的混迭，又可以分离亚高斯源的混迭信号。 从在生物信息处理的角度看，认知的一个重要任务是探测任何感觉刺激组合中同时发生的事件， 以便知道感觉的事件中哪些是期望的哪些是不期望的。而神经系统可以通过预处理感觉输入的信息以 便提取统计独立的特征，即在保证从输入到输出的完全信息传输的情况下，尽可能降低输出单元之问 的信息冗余度。这一感知过程可以用递归网络来表示。对这样一类网络，完全信息传输就是最大化输 入和输出之间的互信息；而降低输出单元之间的信息冗余度就意味着最小化输出互信息。当这两者同 时满足时，我们就得出一种最小化输出信息冗余度的准则，此恰好对应着通过网络提取独立成分使输 出联合分布可以表示为各分量边缘分布的乘积，所以它也可以用来作为盲源分离的准则，并且有着良 好的生物信息处理的背景。 2问题描述 设有m个信号源和传感器，测量信号和源信号之间有如下关系式： x(f)=As(f)+n(f) (1) ’憧■日■，2000．06一05●订日瓣。2000．08一15 ‘▲礓目-国家自然科学基金、山东省自然科学基金(y000G12)和Ⅲ东大学青年科学基金资助项目 万方数据 第l期 刘琚等：基于递归神经网络的信息理论盲源分离准则 中n(f)为加性观测噪声。由于有噪声存在时的盲分离是困难的，‘般不考虑它的影响。因此，我们只 研究如下无噪声信号混迭模型公式： x(})=As(f) (2) 源分离问题就