章3 相关分析和数据平滑.ppt

* 第三章 相关分析和数据平滑 §3.1 相关分析 　在许多情况下需同时测定同一试样的多个变量, 如环境化学, 为了评定水、土壤或空气的质量, 常常需要同时测定多种无机离子和有机化学成分. 为了对测试结果做出解释, 则需要寻找这些变量（浓度）间所存在的关系. 　　本节介绍的内容有别于回归分析. 回归分析是因变量(y)与自变量（x1,x2,…）间的函数关系的定量评估, 如 y = a + bx. 回归分析是相关分析的一种手段. 而相关分析是研究许多变量彼此间的相关性[1-3]. 以环境化学为例.表3.1为某地区雨水的测定结果.首先可以观察一下Na和Cl间的关系. 将在雨水中的含量可以分成若干个区段, 对应于每一区段, 视Cl自身含量在某一范围内出现的频数. 表3.1 雨水数据(ppb) 其结果于表3.2.由此表可见, 两种成分浓度组合的不同, 所出现的概率也不相同. 大体关系是, 当Na浓度大时, Cl的含量亦多, 当Na含量小时, Cl的含量亦低. 由这样一对变量（如Na, Cl）的观察, 则可以得到二变量频率分布的函数. 表3.2 (Na,Cl)观测队的统计表 图3.1为Na, Cl二变量分布的散点图. Na和Cl有明显的相关性, 即一旦Na的浓度测得后, 则可算出Cl的浓度（反之亦然）. 这种相关性可由协方差及相关系数来表达. 图3.1 Na和Cl浓度的对应分布图 不同于Na和Cl的关系，Pb与Sb的浓度就不具备任何相关性（图3.2）. 图3.2 Pb和Sb浓度的对应分布图 §3.1.1 协方差和相关系数 一套二变量观察对, 如Na和Cl可分别表示为 x1,x2,…,xn和y1,y2,…,yn. 作为总体，则可表示为随机变量x和y. 其协方差定义为 其中，n为所观察的变量对(xi,yi)数；ux,uy分别为x和y的整体均值. 实际上，观察次数总是有限的，即真正的整体均值为未知，而可以测得的为n次均值 和 ，则此时协方差为 (3.1) 式中，n-1为独立观察对数，即自由度. 表3.1中Na和Cl的协方差为 其中， =1343ppb, =1390ppb. 为了计算的方便，cov(x,y)可表示为： 若变量x和y具有强的线性相关性，如 y = ax，则协方差的绝对值将会很高，在此种情况下，式(3.71)为： 若二变量相关性较差时. 则协方差的绝对值将会比较小. 因为如(x1,x2),(y1,y2)两对观察，有可能当x1 时，y1 , 而x2 时，y2 ，即 和 在加和中则会部分抵消，从而致使总的加和，即协方差的绝对值变小. 从理论上讲，协方差可在-∞和+∞间. 但协方差的大小常依赖于变量的标尺，如上例中，Na和Cl的浓度若分别以ppm表示，则cov(x,y)=0.743. 为了使一参数不依赖于变量测定时所选用的标尺（即单位）, 则将协方差除以x和y标准偏差的乘积，由此得到相关系数. (3.2) 如上述Na和Cl(表3.1), 其相关系数为： 相关系数在-1和+1之间. 当∣r(x,y)∣=1时，说明y与x完全相关. 当r(x,y)≈0时，则称x,y不相关. 二变量不相关仅说明这两个变量不具备相关性，而并不能说明二者没有关系. 如图3.3所示, x与y不相关，但却具备明显的函数关系. 图3.3 数据不具相关性，但具有函数关系 §3.1.2 相 关 和 回 归 若x为自变量，y为因变量，一元回归分析为: 而系数b1的表达式为： 其中，分子为协方差的n(n-1)倍，而分母 为的n(n-1)倍，由此： 若表示成相关系数的函数，则 在上述的线性方程中,b0为： 进而，直线方程可以表示为： (3.3) §3.1.3 方差-协方差矩阵 在上述方差和协方差的计算中，是以Na和Cl变量对为例，实际上任意两个成分均可构成变量对. 对于某个系统，有n个取样点, m个化合物，则测试数据的一般表示为： 此处 其中xij为化合物j在取样点i处的浓度. 在上表中，任一对成分的组合均可计算协方差，如表3.1中Mg和SO4的协方差为; 这些协方差所构成的矩阵称为方差-协方差矩阵，或简称为协方差矩阵： 由协方差定义可知， , 因而，在方差-协方差矩阵中，对角线元素为变量的方差，由于cov(j,k)=cov(k,j)，所以方差-协方差阵为对称矩阵. 在n个取样点的m个化合物的浓度若以矩阵形式表示为： 其中，列平均值分别为 ， ，…， . 若将每一列中的矩阵元减去相应列平均值，则得矩阵： U矩阵中每一列均值为0，即 方差=协方差