投影寻踪方法及应用.docVIP

投影寻踪方法及应用 内容摘要：本文从投影寻踪的研究背景出发，给出了投影寻踪的定义和投影指标，在此基础上得出了投影寻踪聚类模型，随后简单介绍了遗传算法。最后结合上市公司的股价进行实证分析，并给出结论和建议。 关键词：投影寻踪 投影寻踪聚类模型 遗传算法 简介 （一）产生背景 随着科技的发展，高维数据的统计分析越来越普遍，也越来越重要。多元分析方法是解决高维数据这类问题的有力工具。但传统的多元分析方法是建立在总体服从正态分布这个假定基础之上的。不过实际问题中有许多数据不满足正态假定，需要用稳健的或非参数的方法来解决。但是，当数据的维数很高时，即使用后两种方法也面临以下困难:第一个困难是随着维数增加，计算量迅速增大。第二个困难是对于高维数据，即使样本量很大，仍会存在高维空间中分布稀疏的“维数祸根”。对于核估计，近邻估计之类的非参数法很难使用。第三个困难是对低维稳健性好的统计方法，用到高维时则稳健性变差。 另一方面，传统的数据分析方法的一个共同点是采用“对数据结构或分布特征作某种假定——按照一定准则寻找最优模拟——对建立的模型进行证实”这样一条证实性数据分析思维方法〔简称CDA法）。这种方法的一个弱点是当数据的结构或特征与假定不相符时，模型的拟合和预报的精度均差，尤其对高维非正态、非线性数据分析，很难收到好的效果。其原因是证实性数据分析思维方法过于形式化、数学化，受束缚大。它难以适应千变万化的客观世界，无法真正找到数据的内在规律，远不能满足高维非正态数据分析的需要。针对上述困难，近20年来，国际统计界提出采用“直接从审视数据出发—通过计算机分析模拟数据—设计软件程序检验”这样一条探索性数据分析新方法，而PP就是实现这种新思维的一种行之有效的方法。因此，高维数据尤其是非正态高维数据分析的需要，加上80年代计算机技术的高度发展是PP产生的主要背景。 （二）发展简史 PP最早由Kruskal于70年初建议和试验。他把高维数据投影到低维空间，通过数值计算得到最优投影，发现数据的聚类结构和解决化石分类问题。1974年Frledman和Tukey加以改正，提出了一种把整体上的散布程度和局部凝聚程度结合起来的新指标进行聚类分析，正式提出了PP概念，并于1976年编制了计算机图像系统PRIM——9。1979年后，Friedman等人相继提出了PP回归、PP分类和PP密度估计。在这以后Huber等人积极探索了PP的理论。1981年Donoho提出了用Shannan嫡作投影指标比wiggins用标准化峰度更好的方法，接着他又利用PP的基本思想给出了多元位置和散布的一类仿射同变估计。Diaeonis、Friedman和Jones等还讨论了与PP有关的其他理论问题。上述工作和结果在1985年Huber的综述论文中作了概括和总结。 我国学者成平和吴健福于1985年证明了PP密度估计的一个收敛性问题，并于1987年给出PP经验分布的极限分布。陈忠琏和李国英等于1986年用PP方法给出了散布阵和主成分的一类稳健估计。成平和李国英于1986年还对多元位置和散布的PP型估计性质进行了讨论叫。陈家弊于1986年证明了密度PP估计的一个极限定理。宋立新和成平于1996年就PP回归逼近的均方收敛性，回答了Huber1985年的猜想。这些都是很好的工作。在PP的应用研究方面，从1985年起，郑祖国、杨力行等人通过几年的潜心研究和探索，成功地完成了投影寻踪回归（PPR）和投影寻踪时序（PPTS）软件包的程序设计，并对大量实例进行了验算。 PP及其分类 投影寻踪是用来分析和处理高维数据，尤其是来自非正态总体的高维数据的一类统计方法。其基本思想是:利用计算机技术，把高维数据通过某种组合，投影到低维（1~3维）子空间上，并通过极小化某个投影指标，寻找出能反映原高维数据结构或特征的投影，在低维空间上对数据结构进行分析，以达到研究和分析高维数据的目的。 它的一般方案是: （l）选定一个分布模型作为标准（一般是正态分布），认为它是最不感兴趣的结构； （2）将数据投影到低维空间上，找出数据与标准模型相差最大的投影，这表明在投影中含有标准模型没能反映出来的结构； （3）将上述投影中包含的结构从原数据中剔除，得到改进了的新数据； （4）对新数据重复步骤（2）（3），直到数据与标准模型在任何投影空间都没有明显差别为止。 PP方法的主要特点是: （l）PP方法能够在很大程度上减少维数祸根的影响，这是因为它对数据的分析是在低维子空间上进行的，对1-3维的投影空间来说，高维空间中稀疏的数据点就足够密了，足以发现数据在投影空间中结构特征； （2）PP方法可以排除与数据结构和特征无关，或关系很小的变量的干扰； （3）PP方法为使用一维统计方法解决高维问题开辟了途径，因为PP方法可以将高维数据投影到一维