函数型数据挖掘的统计分类方法研究.docx

函数型数据挖掘的统计分类方法研究

第一章绪论

1.1选题背景与研究意义

随着人秀认识世界的不断深入、现代信息技术的迅猛发展以及数据存储能力的极大提高，自然科学和社会科学的许多领域不断涌现出大量形式各异复杂难辨的海量数据，如（超）高维数据、（超）高频数据、不等观测时点数据、非平衡数据等，标志着人类进入一个全新的时代——

大数据时代。“数据爆炸”和“知识匮乏”是大数据时代的典型特征，一方面，数据采集技术的进步和存储成本的下降使得数据容量的起始单位由GB变为ZB?;数据类型不仅有数字、符号等结构化数据，而且还有视频、图片等非结构化数据。另一方面，数据维度容量的庞大和类型结构的复杂使得传统的数据分析技术凸显诸多局限，甚至完效。因此，如何从浩瀚复杂的数据海洋中及时有效地挖掘出潜在的深层次信息，给现代统计学的发展带来了挑战、机遇和紧迫感。大数据时代，数据的丰富性和多样性对高效的数据分析技术提出了更高的要求。传统数据分析技术的研究重点主要集中在时间序列数据、横截面数据(Cross-sectional

Data)或者二者的综合一多指标面板数据(MultivariatePanel

Data),从线性模型到非线性模型、从低维空间到（超）高维空间、从等间隔观测的平衡数据到不等间隔观测的非平衡数据等，理论方法和实践应用的研究成果都是有针对性地处理某类特定的数据类型，诸多的理论假设条件导致模型应用的普适性较差。主要表现在：一是以线性结构为模型变量

之间的主要形式，限制了复杂系统的非线性、非平稳等不规则变化描述，不能真实地反映系统运行的真实情况；二是过分依赖大量的经典假设，如变量的平稳性、独立性、数据等间隔观测等，一旦假设条件遭到破坏则模型应用的有效性急剧下降，依据模型结果得出政策建议的可靠性有待商榷。

1.2国内外相关研究现状

“函数型数据分析”（FunctionalDataAnalysis,

FDA)的基本概念和分析思想始由Ramsey1.(1982)⑴在“Whenthedataarefunctions一文中提出，随后RamseyJ.和Dalzell

C.(1991)[2]初步给出了函数型数据分析的常规统计方法，后经Silverman

B.(1997)、FerratyF.(2006)[4]、Hall

P.(2012)等世界知名统计学家进一步对函数型数据的分析框架进行了系统总结和完善。函数型数据类型的特殊性需要建立和发展相应的统计推断方法进行研究，就目前的研究进展来看，尽管国外关于函数型数据分析的方法研究已经取得了较为丰硕的成果，但相对传统的统计分析发展上仍处于起步阶段，而国内更是仅仅处于对函数型数据分析的方法介绍和简单应用阶段。综合现有关于函数型数据分析的研究文献，研究重点和进展现状大致可以总结为以下几个方面。通常需要考察函数集合变化的共同特征。比如，同一类型函数集合中尽管具体的函数变化模式有所差异，但存在共同的整体变化趋势，而函数型主成分分析则可以题别共同变化模式的具体形式。除此之外，如果将函数型数据在时间维度上的取值视作多元数据的维

度，则函数型数据的“维灾”更为严重，基于维度转换角度考虑则主成分分析在函数型数据的降维处理中更为关键。国外的理论研究方面，DuxoisJ.etal.(1982)

[6]对函数型主成分分析做了基础性的介绍，之后BrumbackB.和RiceJ.

(1998)[7]、CardotH.(2000)[8]、BoenteG.和FraimanR.(2000)

[9]从不同角度对函数型主成分的计算进行了推广和拓展，特别的是HallP.(2006)和BenkoM.era/.

(2009)研究了纵向数据中函数型（共同）主成分的统计特征，研究的出发点是随机过程的Karhunen-

Lodve展开，其本质思想是协方差算子的线性分解；针对纵向数据的稀疏分布特征。

第二章函数型数据分析

2.1函数型数据的概念与内涵

“函数型数据分析”（FunctionalDataAnalysis，FDA

)的概念始由加拿大统计学家RamseyJ.和DalzellC.于1991年在其论文“Whenthedataarefunetions与“Sometoolsforfunctional

dataanalysis”正式提出，之后RamseyJ.和Silverman

B.(1997、2002、2005)分三次总结了函数型数据统计分析的理论基础与分析方法，其研究内容侧重于离散观测数据的基函数修匀、线性模型和微分方程的函