(第三章数据整理.doc

第三章 数据整理 第一节 数据预处理 　　统计调查工作结束后，统计调查资料将通过各种渠道搜集上来。在对这些数据分析整理之前，首先要对其进行预处理。统计数据预处理是数据分组整理的先前步骤，内容包括数据的审核、筛选和排序等项工作。 一、数据审核 在对调查资料进行数据整理之前，为了保证工作的质量，必须对调查资料进行审核，以保证数据本身的质量，为进一步的数据整理、数据分组和数据分析打下基础。数据审核的内容包括数据的完整性、准确性、适用性、及时性。完整性是统计数据在统计信息的采集范围和内容含量上的体现，包括统计调查覆盖的范围要完整，被调查对象的报表要完整，调查内容应该包括使用者所需的所有项目；准确性是统计数据质量在统计信息客观真实性方面的体现，是统计数据质量的根本要求，也是统计数据使用者的首要要求；及时性是统计数据质量在统计信息时间价值上的体现，是对统计数据形成和提供提出的要求；适用性是统计数据质量在统计信息价值实现上的体现，也是统计工作的最终目的。数据审核的方法主要有逻辑检查法和计算检查法。由于调查资料的类型不同和其来源的具体渠道不同，审核的内容和方法也有所不同。 对于通过直接调查取得的原始资料主要从完整性和准确性两个方面审核。完整性审核主要是检查应调查的单位或个体是否有遗漏，所有的调查项目或指标是否填写齐全等；准确性审核主要包括两个方面：一是检查数据资料是否真实地反映了客观实际情况，内容是否符合实际；二是检查数据是否有错误，计算是否正确等。审核数据的完整性和准确性的方法主要有逻辑检查法和计算检查法。逻辑检查法主要是审核数据是否符合逻辑，内容是否合理，各项目和数字之间有无相互矛盾的现象。例如调查某农户某年家庭生活支出结构，在家庭基本情况中知道其家庭成员为3口人，但在其年家庭食用油支出项目中，填写的数据为1000公斤，显然人口数量与食用油支出存在逻辑上的错误，对于这种错误要查明原因，如果发现应及时予以纠正。逻辑检查法主要适合于对定性(分类和顺序)数据的审核。计算检查是检查调查表中的各项数据在计算结果和计算方法上有无错误。比如各分项数字之和是否等于相应的合计数，各结构之和是否等于1或100%，出现在不同表格上的同一指标数值是否相同等等。计算检查法主要用于对定量(数量)数据的审核。 对于通过其他渠道（非直接调查）取得的二手资料，除了采用逻辑检查法和计算检查法对其完整性和准确性进行审核之外，还应该着重审核数据的适用性和及时性。二手数据可以来自多种渠道，如期刊、报纸，或者是互联网等等，或者是已经按特定目的的需要做了加工整理的资料。对于二手资料，使用者首先应该弄清楚来源、口径及有关背景资料，以便确定这些数据是否适合自己分析研究的需要，是否需要重新加工整理等，不能盲目生搬硬套，即审核资料的适用性。此外，还要对数据的及时性进行审核，对于有些时效性较强的研究项目，如果所取得的数据过于滞后，可能失去研究的意义。一般来说，应尽可能使用必威体育精装版的统计数据。数据在审核后，确认满足研究目的需要，才有必要作进一步的加工整理。 关于数据审核，传统方式是人工审核，这种审核方式对于数据量较小的情况下还基本可以完足需要，但如果数据量大，则其缺点十分明显，主要表现在：审核人员需要量大、审核时间长、审核费用高，同时，审核过程中可能会造成二次错误。随着计算机技术特别是数据库技术以及一些商用统计分析软件的发展，数据审核的方式已经由人工审核转向采用计算机技术进行审核，即计算机审核，其本质就是采用成熟的商用统计软件或自编计算机程序，利用计算机自动运算、运算速度快等特点进行数据审核。 在审核中发现的错误应尽可能予以纠正，在审核结束后，如果对数据中发现的错误不能予以纠正，或者一些数据不符合调查的要求而又无法弥补时，就需要对数据进行筛选。 二、数据筛选 数据的筛选包括两方面的内容：一是将某些不符合要求的数据或有明显错误的数据予以剔除，例如，调查家庭用户使用的电视机品牌，在目前市场中，应当出现海尔、海信、长虹、康佳、创维、TCL、索尼、松下等，但如果出现希望、波导、联想等就属于错误，应当剔除，因为目前希望集团、波导公司、联想公司并没有生产电视机；二是将符合特定条件的数据筛选出来，而不符合特定条件的数据予以剔除。数据的筛选对通过统计调查取得的数据非常必要。 下面我们给出一个例子，说明用Excel进行数据筛选的过程。 【例3.1】表3-1是某班10名学生5门课程的考试成绩数据(单位：分)。试找出： （1）统计学成绩等于80分的学生； （2）英语成绩前三名的学生； （3）五门课成绩全部及格的学生。 表3-1 某班10名学生的考试成绩数据 首先，将学生成绩录入到Excel之中，建立如表3-1所示的数据表，然后移动鼠标光标至“数据”菜单中的“筛选”命令，此时会出现