独立分量分析法研究报告.ppt

预备知识：四、信号通过线性系统信息特征的变化 互信息关系： 负熵关系： 目录 目录 问题的提出 数学准备 独立分量法具体算法 一、主要步骤 二、各类ICA算法简介 三、Fast ICA算法 总结与展望 目录：独立分量法具体算法 独立分量法具体算法 一、主要步骤 二、各类ICA算法简介 三、Fast ICA算法 独立分量法具体算法：一、主要步骤 独立分量分析： 对交叠信号X，求解混矩阵B，使Y=BX各分量尽量相互独立。独立判据函数G。 主要步骤： 预处理部分（简化计算） 核心算法部分 独立分量法具体算法：一、主要步骤 预处理部分： 1、对X零均值处理 √ 2、球化分解（白化） 即：乘球化矩阵S，使Z=SX各行正交归一，即ZZ’=I 意义：消除原始各道数据间二阶相关，以后只需要考虑高阶矩量(因为独立时各阶互累积量为0)，使很多运算过程简化。 注意：各道数据间不相关，不一定独立，除非是高斯信号 独立分量法具体算法: 一、主要步骤——主成分分析与球化 协方差矩阵： 特征值分解： U:特征向量矩阵，正交归一，每一列称为一特征向量 Λ:特征值对角矩阵， 可排序： 特征值代表分量功率大小。 P中各行正交，称为X的主分量，且可见各行能量从大到小排列 可以选择能量大的主分量代表X，此即为主成份分析的由来。 独立分量法具体算法: 一、主要步骤——主成分分析与球化 取球化阵： 可见： 满足球化条件！ 独立分量法具体算法：一、主要步骤 主要步骤： 预处理部分——得到0均值，方差1数据Z √ 核心算法部分 寻求解混矩阵U，使Y=UZ，Y各道数据尽可能独立（独立判据函数G） 注意： (1)、由于Y独立，各行必正交。且通常取U保持Y各行方差为1，故U是正交变换。 (2)、所有算法预处理部分相同，以后我们都设输入的为球化数据z，寻找正交矩阵U，使Y=Uz独立。 由于独立判据函数G的不同，以及步骤不同，有不同的独立分量分析法。 目录：独立分量法具体算法 独立分量法具体算法 一、主要步骤 二、各类ICA算法简介 三、Fast ICA算法 独立分量法具体算法：二、各类ICA算法 二、各类ICA算法 1、批处理 2、自适应算法 3、探查性投影追踪 独立分量法具体算法：二、各类ICA算法 1、批处理算法： 指依据一批已经取得的数据X来进行处理，而不是随着数据的不断输入做递归式处理。 已有算法： 成对数据旋转法(Jacobi法)及极大峰度法(Maxkurt法) 特征矩阵的联合近似对角化法(JADE法) 四阶盲辨识(FOBI) JADE法和Maxkurt法的混合 独立分量法具体算法：二、各类ICA算法 2、自适应算法： 根据数据陆续得到而逐步跟新处理器参数，使处理所得逐步趋近于期望结果，即各分量独立。 已有算法： 常规的随机梯度法 自然梯度与相对梯度 串行矩阵更新及其自适应算法 扩展的Infomax法 非线性PCA自适应法 独立分量法具体算法：二、各类ICA算法 3、探查性投影追踪 按照一定次序把各独立分量一个一个的逐次提取出来，每提取一个，就将该分量从原始数据中去掉，对剩下的部分提取下一个分量。 已有算法： 梯度算法 旋转因子乘积法 固定点算法(Fast ICA)——最常用算法 目录：独立分量法具体算法 独立分量法具体算法 一、主要步骤 二、各类ICA算法简介 三、Fast ICA算法 独立分量法具体算法：三、Fast ICA算法 Fast ICA算法思路 属于探查性投影追踪 ICA目的 输入球化数据z，经过正交阵U处理，输出Y=Uz Fast ICA 1、输入球化数据z，经过正交阵某一行向量ui处理（投影），提取出某一独立分量yi. 2、将此分量除去，按次序依次提取下去，得到所有的yi ，以及ui。 独立分量法具体算法：三、Fast ICA算法 Fast ICA具体做法 问题一：按什么次序提取? 　　　 问题三：如何按次序提取？ 问题三：如何除去已提取的分量？ 独立分量法具体算法：三、Fast ICA算法 Fast ICA具体做法 问题一、按什么次序提取? 独立分量法具体算法：三、Fast ICA算法 次序：“最独立” 实际：“投影后数据的pdf距离高斯分布最远” 理由： 类似中心极限定理，如果每个源分量si 是非高斯，且独立的，那么加权和yi将比各个si更接近高斯分布。 那么当vij中只有一个是1，其余为零，即yj=sk时，将距离高斯分布最远。 可以通过调节B使yi距离高斯分布最远，将最接近yj=sk的情况，从而加以提取。 独立分量法具体