云计算与大数据技术 课件8.1数据采集概述.pptx

数据采集概述

大数据来源大数据主要来源于互联网公司、物联网设备、部分企业及政府部门的数据资源。在各行业海量的数据中，大约20%属于结构化数据，80%属于广泛存在于社交网络、物联网、电子商务等领域的非结构化数据。日志数据，如页面展示日志采集，采集页面浏览量（PageView，PV）和访客数（UniqueVisitors，UV）；页面交互日志采集，采集用户的互动行为数据，量化获知用户的兴趣点和体验优化点等。

8.1.2数据采集途径1．系统日志采集系统日志采集主要是指收集互联网应用平台、移动互联网平台、公司业务平台等日常产生的大量日志数据，供离线和在线的大数据分析系统使用的过程。常见的采集工具有Hadoop的Chukwa、Cloudera的Flume、Facebook的Scribe等。

8.1.2数据采集途径2．互联网数据采集互联网数据采集是指通过网络爬虫或网站公开API等方式从网站上获取数据信息的过程。爬虫可分为通用爬虫（如百度、Google等通用搜素引擎）、自有爬虫、聚焦爬虫（如采用商业或开源爬虫工具爬取专业或研究领域数据）。

8.1.2数据采集途径网站公开API：北京市公共数据开放平台、中国国家统计局网站等会提供公开的数据。

8.1.2数据采集途径3．App移动端数据采集由于移动App实际上是通过HTTP与服务器进行交互的，因此可以采用抓包、Hook等方式完成数据的采集，也可以采用埋点技术完成数据采集。埋点是指在产品使用过程中，通过对用户事件的追踪，获取需要统计的用户数据，进而分析产品使用情况。针对一个手机端App来说，埋点有前端埋点、后端埋点（后端数据收集）两种方法。

8.1.2数据采集途径4．数据服务机构数据采集数据服务机构通常具备规范的数据共享和交易渠道，提供大数据采集服务、大数据交易服务、大数据分析服务、大数据可视化服务、大数据安全服务等，

8.1.2数据采集途径贵阳大数据交易所网站

8.1.2数据采集途径中国国家统计局网站

8.1.2数据采集途径5．企业大数据服务平台数据采集企业通过部署大数据服务平台，实现跨部门数据的传输、加载、清洗、转换和整合，以完成企业内部和外部的大数据采集工作。6．智能感知设备数据采集智能感知设备数据采集是指通过传感器、摄像头和其他智能终端自动地采集信号、图片或录像来获取数据。