变量元素相关性分析.doc

相关性分析 相关性分析是指对两个或多个具备相关性的变量元素进行分析，从而衡量两个变量因素的相关密切程度。相关性的元素之间需要存在一定的联系或者概率才可以进行相关性分析。相关性不等于因果性，也不是简单的个性化，相关性所涵盖的范围和领域几乎覆盖了我们所见到的方方面面，相关性在不同的学科里面的定义也有很大的差异。 数学上的相关性分析 　　当两个变量的标准差都不为零时，相关性系数才有定义。当一个或两个变量带有测量误差时，他们的相关性就会受到削弱。 世界上的任何事物之间存在的关系无非三种： 1、函数关系，如时间和距离，2、没有关系，如你老婆的头发颜色和目前的房价3、相关关系，两者之间有一定的关系，但不是函数关系。这种密切程度可以用一个数值来表示，|1|表示相关关系达到了函数关系，从1到-1之间表示两者之间关系的密切程度，例如0.8。 相关分析用excel可以实现 说判定有些严格，其实就是观察一下各个指标的相关程度。一般来说相关性越是高，做主成分分析就越是成功。主成分分析是通过降低空间维度来体现所有变量的特征使得样本点分散程度极大，说得直观一点就是寻找多个变量的一个加权平均来反映所有变量的一个整体性特征。 评价相关性的方法就是相关系数，由于是多变量的判定，则引出相关系数矩阵。 评价主成分分析的关键不在于相关系数的情况，而在于贡献率，也就是根据主成分分析的原理，计算相关系数矩阵的特征值和特征向量。 相关系数越是高，计算出来的特征值差距就越大，贡献率等于前n个大的特征值除以全部特征值之和，贡献率越是大说明主成分分析的效果越好。反之，变量之间相关性越差。 举个例子来说，在二维平面内，我们的目的就是把它映射（加权）到一条直线上并使得他们分散的最开（方差最大）达到降低维度的目的，如果所有样本点都在一条直线上（也就是相关系数等于1或者-1），这样的效果是最好的。再假设样本点呈现两条垂直的形状（相关系数等于零），你要找到一条直线来做映射就很难了。 SPSS软件的特点 一、集数据录入、资料编辑、数据管理、统计分析、报表制作、图形绘制为一体。从理论上说，只要计算机硬盘和内存足够大，SPSS可以处理任意大小的数据文件，无论文件中包含多少个变量，也不论数据中包含多少个案例。 二、统计功能囊括了《教育统计学》中所有的项目，包括常规的集中量数和差异量数、相关分析、回归分析、方差分析、卡方检验、t检验和非参数检验；也包括近期发展的多元统计技术，如多元回归分析、聚类分析、判别分析、主成分分析和因子分析等方法，并能在屏幕（或打印机）上显示（打印）如正态分布图、直方图、散点图等各种统计 大数据并不是说它大，而是指其全面。它收集全方位的信息来交叉验证，应用在各个领域。比如银行，你可以去银行贷款，而银行可能会把钱借给你，为什么？？因为在大数据时代，它可以通过一系列信息，通过交叉复现得知你很多东西，比如你的住址，是什么样的校区？是高档的吗？面积多大？银行通过这些就能得知你的经济状况。那可不可以填家地址？当然不行，大数据交叉验证，它可以到你微博，qq上看啊，你只要一发信息，你的地址就出来了，因为你待的最多地方就是家和公司。再比如说，可以查你每个月的电费，这样就知道你家里电器的使用量，这基本就可以衡量出一个人的生活水平和收入水平。再比如说，它知道你的电话号码，你用的是什么类型的电话，每月消费多少，买电话是分期还是一次性交清等等，所有这些信息通过交叉验证，就能够呈现出来你的经济状况。甚至在洛杉矶，有一家银行开展的一个业务，叫高风险贷款。就是放贷款给信用记录为零的或信用记录不好的客户。这家公司就用了很多大数据的手段，它仔细到你无法想象。比如你在银行填这家的姓名，它就看你怎么填。你如果全是小写，这说明你有点粗枝大叶；如果你全是大写，说明你有点自大。标准的填法应该是首字母大写，后面小写，说明你很精细。对精细的人来说，信用度就会好一些，而它就会把这一点点计入对你的信用的判别的整体的数据库。而这家公司经过试验之后，它的坏账率比同行没有用大数据的要低60%。然而大数据时代最大的弱点就是对个人隐私的保护。你自己以为不重要的信息，会利用交叉验证，交叉复现的原理，把你想隐藏的信息曝露出来。还有一个就是保险公司，比如汽车险，它会想尽办法搜集你驾车的一系列的记录，如果未来你驾车的所有数据都被记录，你每一天开多少公里，你经常从哪到哪，是风险路段还是低风险路段，是白天还是晚上出去，是喜欢开快车还是慢车，然后通过你踩油门、踩刹车的行为习惯等等，来判断你的驾驶习惯。这些数据对保险公司有很大用场。这样他们就可以把产品做的更精细化。对不同的人提供不同的保险费用。如果一个保险公司拥有了大数据，以及相应的分析手段，那其他的保险公司就等着倒闭了。商业竞争就是靠这么一丝一毫的精细到毫厘的差距来打败对手。 大数据是