的转移概率.ppt

Wei-Shi Zheng wszheng@ *, Page * 2、若上述矩阵的特征根所对应的单位特征向量为 则实对称阵 属于不同特征根所对应的特征向量是正交的，即有 令 Wei-Shi Zheng wszheng@ *, Page * 主成分的推导 （一） 第一主成分 设X的协方差阵为 由于Σx为非负定的对称阵，则有利用线性代数的知识可得，必存在正交阵U，使得 Wei-Shi Zheng wszheng@ *, Page * 其中?1， ?2，…， ?p为Σx的特征根，不妨假设?1? ?2 ? … ??p 。而U恰好是由特征根相对应的特征向量所组成的正交阵。 下面我们来看，是否由U的第一列元素所构成为原始 变量的线性组合是否有最大的方差。 Wei-Shi Zheng wszheng@ *, Page * 设有P维正交向量 Wei-Shi Zheng wszheng@ *, Page * 等号成立： Wei-Shi Zheng wszheng@ *, Page * 当且仅当a1 =u1时，即 时，有最大的方差?1。因为Var(F1)=u’1?xu1=?1。 如果第一主成分的信息不够，则需要寻找第二主成分。 Wei-Shi Zheng wszheng@ *, Page * ⑴ 条件 表明， 是一个满稚矩 阵，即矩阵 列向量（解释变量）间线性无关，样本容量 的个数应当大于解释变量的个数. 违反该假设时， 称模型存在多重共线性问题. ⑵ 条件 且各个 相互独立 对多元线性回归模型理论假设的说明 * Wei-Shi Zheng wszheng@ *, Page * 当 时，称回归模型存在异方差.当 时，称回归模型存在自相关. 当模型违反上述假设后，就不能使用最小二乘法估计来求解回归系数.解决方法可参考回归分析相关教材。先介绍模型符合假设时的参数估计方法. Wei-Shi Zheng wszheng@ *, Page * 模型参数的最小二乘估计 ? 参数估计的准则 定义离差平方和 求 使得 Wei-Shi Zheng wszheng@ *, Page * 称 为模型参数 的最小二乘估 计，称 为因变量 的回归拟合值，简称回归值或 拟合值.称 为因变量 的残差. Wei-Shi Zheng wszheng@ *, Page * 参数估计的算法 当满足元线性回归模型理论假设的条件时，模型参数 的最小二乘解为 可以证明 Wei-Shi Zheng wszheng@ *, Page * 其中 由此可见， 是 的无偏估计.协方差阵 反映出估计量 的波动大 小,由于 是 右乘一个矩阵 所以 的 波动大小可以由抽样过程中进行控制.同一元线性回归分 析一样，在多元线性回归中， 样本抽样要尽可能的分散. Wei-Shi Zheng wszheng@ *, Page * 主成分分析 主成分回归 主成分分析 Wei-Shi Zheng wszheng@ *, Page * 汇报什么？ 假定你是一个公司的财务经理，掌握了公司的所有数据，比如固定资产、流动资金、每一笔借贷的数额和期限、各种税费、工资支出、原料消耗、产值、利润、折旧、职工人数、职工的分工和教育程度等等。 如果让你向上面介绍公司状况，你能够把这些指标和数字都原封不动地摆出去吗？ 当然不能。 你必须要把各个方面作出高度概括，用一两个指标简单明了地把情况说清楚。 * 例子 Wei-Shi Zheng wszheng@ *, Page * 主成分分析 每个人都会遇到有很多变量的数据。 比如全国或各个地区的带有许多经济和社会变量的数据；各个学校的研究、教学等各种变量的数据等等。 这些数据的共同特点是变量很多，在如此多的变量之中，有很多是相关的。人们希望能够找出它们的少数“代表”来对它们进行描述。 介绍两种把变量维数降低以便于描述、理解和分析的方法：主成分分析（principal component analysis）和因子分析（factor analysis）。实际上主成分分析可以说是因子分析的一个特例。在引进主成分分析之前，先看下面的例子。 Wei-Shi Zheng wszheng@ *, Page * 一项十分著名的工作是美国的统计学家斯通(stone)在1947年关于国民经济