大数据时代第三章研讨.docVIP

第·节大数据的采集技术大数据采集技术是进行数据存储，预处理和挖掘的基础，传统的数据采集技术主要包括普查，抽样调查和统计报表等；随着网络的发展，网络数据已经成为大数据的重要来源，网络数据的采集技术主要有网络爬虫A門接口和传感器等普查普查是为了某种特定的目的而专门组织的―次性的全面调查，它可以调查―定时点上的社会经济现象的总量，吧以调查某些时期现象的总量，甚至调查一些并非总量的指标，普查―般，涉及面广、指标多、工作量我们的大数据大、时间性强。为了取得准确的调查资料，普查对集中领导和统一行动有很高的要求。普查的方式有两种．一种是建立专门的普查机构，聘请或者雇佣专业的普查人员进行实地调查，另一种是调查有关单位的原始记录和材料，根据原始记录归纳整理出要了解的数据。无论采用哪种方式，普查通常是周期性的或者是一次性的，往往有统一的时间点。例如，人口普查使用统表格、统一方法，在规定的时间对全国人口进行普遍调查登记。普查的优点在于数据严谨，资料全面，可以根据不同需求了解到调对象的全部情况，准确度高，而且确定对象比较简单。而普查最显著的查缺和点在于普查的普遍性会导致工作量较大，导致调查内容有限、产生重复遗漏的现象。二、抽样调查抽样调查部分对象进行调查并据此对全部调查对象做出估计和推断的一种调查赞：抽样调查虽然是非全面调查，但它的目的却在于取得反映总体情况的信息资料抽样调查的样本抽取。·）抽样调查的样本抽取：从样本抽取角度来看，抽样调查可以分为简单随机抽样、系统抽样和分层抽样等。简单随机抽样，是从总体N个对象中任意抽取n个对象作为樊：最终以这些样本作为调查对象，其中，在抽取样本时，总体中每个对象被抽中为调查样本的概率是相同的系统抽样，是首先将所有对象分成均衡的几个部分，然后按照预先定出的规则，从每—部分中抽取一个对象，这些被抽取出的对象构成了调查样本分层抽样，是将所有对象分成互不交叉的类别或层次，然后按照一定的比例，从各类别或层次中独立地抽取一定数量的对象，最后将这些被扣取出来的对象合在一起作为调查样本。仁）抽样调查的调查方式：从调查方式角度看，抽样调查的方式很多，主要包括问卷调查法、访谈法、观察法和实验法等。问卷调查法，是向被调查者发出简明扼要的征询表单（表）请被调查者填写对有关问题的意见和建议，从而达到数据采集的目的访谈法，是通过访谈员和受访人面对面交谈来采集相关数据的方法。按照同时受访的人数不同，访谈法可分为个人访谈和团体访谈，个人访谈是一对一的访谈，团体访谈又称座谈会，是指将若干访谈对象召集在一起同时进行访谈，通常以5～7人为宜，观察法，是由调查者直接或利用仪器来观察、记录被访者的行为、活动、反应、感受或现场事物，以获取数据的方法。按照调查者是否参与调查对象的活动，观察法可分为参与观察和非参与观察。参与观察是调查者作为活动的一员，在参与调查活动同时进行观察，从而系统地收集数据的方法。非参与观察是调查者以旁观者的身份对调查对象进行的观察以便比较客观地获得观察数据的方法。实验法，是从自然科学的实验室试验法借鉴而来的，它是指在既定条件下通过有目的、有意识地改变某些环境变量或参数，获得被实验对象在环境改变时的活动变化从而发现实验对象活动变化的因果关系的方：法。从本质上说，实验法是一种特殊的调查与观察法，因为任何一项实验数据的获得都需要进行调查和观察，但是，与一般的调查和观察不同，实验法是在控制环境的前提下进行调查和观察的。总而言之，抽样调查方法的优点在于容易操作，适用面广，经济性强，可以仅仅根据少量信息推断出全局信息。抽样调查方法的缺点在于误差不易被控制，需要依赖较好的样本，并且测评结果往往不够稳定。三、统计报表统计报表是按统一规定的表格形式、统一的报送程序和报表时间自下而上提供基础统计数据的方法。按照调查范围不同，统计报表可分为全面统计报表和非全面统计报表。全面统计报表是指每个调查对象都要填写报表。非全面统计报表则是只有部分调查对象填写报表。按照报送周期不同，统报表可分为日报周报、旬报、月报、季报、半年报和年报；统计报表一般分为两个步骤；第一步，由主管部门根据相关法律法规和实际统计需求，制定统计表并通过管理系统下发给调查对象；第二步；调查对象按统计报表的填写要求提供基本统计数据经认真核对后上报对于一些复杂数据或精度要求较高的数据，可能需要层层汇总核对并逐级上报统计报表是一种自上而下布置，自下而上填报的数据采集技术，因此的大、时间性强，为了取得准确的调查资料，普查对集‘中领导和统一行动有很高的要求普查的方式有两种，·种是建立专门的普查机构，聘请或者雇佣专业的普查人员进行实地调查，另―种是调查有关单位的原始记录和材料，根：原始记录归纳整理出要了解的数据，无论采用哪种方式，普查通常是周期性的或者是·次性的往往有统·的时间点，例如，人口普查使用统表格｀统