独立成分分析.ppt

现在我们试图采用牛顿法来求解方程。用F表示上方程的左部分，求的其梯度为： 为了简化矩阵求逆的过程需要对上式第一项进行近似。因为数据已经是球化过的，似乎可以作为一个合理的近似。这是梯度变化成了对角矩阵，可以简单的求逆，这样我们的到了近似的牛顿迭代算法： 在上式两边同时乘以 进一步简化得： 每次迭代完成后对W进行标准化。以上就是fastICA算法中不动点迭代的基本公式 代码实现 算法结果 5、infomaxICA 是美国Salk Institute计算神经生物学实验室的研究者没首先提出的。其特点就是在输出y之后逐分量的引入一个非线性函数ri=gi(yi)来代替高阶统计量的估计。 B infomaxICA---- 非线性去相关 Infomax法的判据是：经过B阵解混后对所得的y的每一个分量yi分别用一个非线性的函数gi(yi)加以处理，得r=g(y)=[g1(y1),----gn(yn)]=[r1,r2---rn]T自适应处理的目标函数是：调节B使r的总熵量H(B，r)极大; H(r)极大便意味着y的各分量之间的互信息极小,互信息小意味着y的各个分量相互独立。在结构上看，B，g合在一起就是单层感知机，只是r并不是我们需要的输出，它只是为达到使y各分量尽可能独立而引入的辅助环节。 参数的调节以下式为指导： B 式中Ex（.）是指P（x）为概率的函数的均值。在做梯度处理时，取消总集的均值过程，得： 将上式对B求导 第一项：与B无关； 第二项： 第三项： 式中 由于 得 要使y接近S，则应使p(yi)接近于信源的p(si) 实际中p(si)一般是未知的。所以gi选取不是很苛刻。某些单调增长函数可以选择（如：sigmoid函数、tanh函数）。 当满足 时意味着各非线性函数与各p(yi)匹配，因而输出的ri接近于均匀分布。而在取值范围有限的pdf中，均匀分布的熵最大。 由以上可得： 因而B的调节公式是： 代码实现 算法结果 独立成分分析 Independent component analysis 盲源分离与ICA概念 ICA简介 ICA过程 Infomax算法 fastICA算法 数学基础 根据源信号的统计特性，仅由观测的混合信号恢复(分离)出未知原始源信号的过程 “盲” 源信号不可观测 混合系统的特性事先不可知 盲源分离（Blind Source Seperation） 1、盲源分离与ICA的概念 盲源分离的目的是求得源信号的最佳估计。 给定随机变量的一组观测（ X1(t)， X2(t)， X3(t) ）其中t是时间或者样本标号。假设他们有独立成分线性的混合而产生： 式中，A是一个未知矩阵。在我们观测仅能观测到Xi(t)的情况下，独立分量分析就要同时估计出矩阵A和Si（t）。并且假设观测到的独立成分Xi(t)数目与Si（t）数目相同。 当盲源分离的各分量相互独立时，就成为独立分量分析 公式1 我们将ICA定义为另一种模式 寻找一个类似于【公式1】中矩阵B确定线性变换，使得随机变量Yi，i=1，..n尽可能独立。如矩阵B能估计出，对其求逆就能得到矩阵A。 2、ICA简介 ICA是20世纪90年代提出的，起初是神经网络的研究中有一个重要的问题，独立成分分析是一个解决问题的新方法。在许多应用方面，包括特征识别、信号分离。这种方法是用一种解线性方程组的方式的估计方式求解信号源。 声音提取： 典型例子：“鸡尾酒会”的问题。 人的大脑可以很快辨出或集中听某种需要关注声音。 麦克风1 麦克风2 麦克风3 a为权重的参数，在鸡尾酒舞会问题中为距离，x为两个话筒得到信号，s为两个表演者的声音。这两个人的声音相对独立并且忽略所有的其他因素比如声音的时间延迟。 如果我们知道a的参数，也就是说知道距离，反解出s就很简单。（半盲源） 但ICA是在不知道a和Si(t)的情况下的一种估计的算法，也就是说的盲信号分离的一种算法。 ICA的约束 为了确保上边刚刚给出的基本的ICA模型能被估计，我们必须要做出一定的假设和约束。 1.独立成分被假定是统计独立的； 2.独立成分具有非高斯的分布； 3.假定混合矩阵是方阵； 1.独立成分被假定是统计独立的 该假设是ICA能够成立的前提。 概念上理解： 我们说随机变量y1，y2..yn独立，是指在i≠j时，有关yi的取值情况对于yj如何取值没有提供任何信息。 技术角度上理解： 联合概率密度等于各边缘概率密度的乘积。 2.独立成