大数据采集与清洗.ppt

大数据战略由国务院上升到中央政治局2015年是大数据政策顶层设计年，2016年是大数据细化落地年，国家发改委、工信部、网信办、科技部等部门均出台大数据发展相关意见和方案。大数据政策从全面、总体规划逐渐向各大行业、各新分领域延伸和拓展，大数据发展也逐步从理论研究步入实际应用之路。*[数据采集与清洗]2019|02|15周 乐什么是大数据大数据处理流程大数据的主要特征大数据采集的概念大数据采集应用01PART什么是大数据淘宝推荐依据你最近的阅读行为和消费行为进行引荐依据时节改变进行引荐依据你用的设备往来不断猜特征.依据购物行为偏好引荐行业现状与前景2014-032015-082017-102016-032018大数据工作首先写入政府工作报告『十三五规划纲要』提出『实施国家大数据战略』』2018年《政府工作报告》提出：实施大数据发展行动，注重用互联网、大数据等提升监管效能国务院发布《促进大数据发展的行动纲要》十九大提出推动大数据战略，与实体经济深度融合2019年人社部拟必威体育精装版发布15项新职业01.大数据工程技术人员02.云计算工程技术人员03.人工智能工程技术人员04.物联网工程技术人员05....大数据（BigData）是指无法使用传统和常用的软件技术和工具在一定时间内完成获取、管理和处理的数据集什么是大数据02PART大数据的主要特征大数据主要特征价值密度低（Value），指随着数据量的增长，数据中有意义的信息却没有成相应比例增长。Value容量大（Volume）,指大规模的数据量，并且数据量呈持续增长趋势。Volume种类多（Variety）,指数据来自多种数据源，数据种类和格式。Variety速度快（Velocity）,指的是数据被创建和移动的速度。Velocity真实性（Veracity），即追求高质量的数据。Veracity03PART大数据处理流程大数据处理流程数据预处理就是将采集来的数据从多种数据库导入到大型的分布式数据库中（目前主要是hfds或hive）,并同时做一些简单的清洗和预处理工作。数据统计分析就是对上面已经完成的存储在大型分布式数据库中的数据进行归类统计，可以满足一般场景的分析需求。数据挖掘是对数据进行基于各种算法的分析计算，从而起到预测的效果，实现一些高级别数据分析的需求。数据采集就是利用多种数据库（关系型，NOSQL）去存储不同来源的数据。数据展示就是对以上处理完的结果进行分析，或者形成报表。04PART大数据采集的概念大数据采集的概念3、大数据采集技术方法大数据采集技术就是对数据进行ETL操作，通过对数据进行提取、转换、加载，最终挖掘数据的潜在价值。ETL指的是Extract-Transform-Load，也就是抽取、转换、加载。抽取-从各种数据源获取数据转换-按需求格式将源数据转换为目标数据加载-把目标数据加载到数据仓库中2、数据采集与大数据采集的区别传统数据采集：来源单一，数据量相当小；结构单一；关系数据库和并行数据库大数据的数据采集：来源广泛，数量巨大；数据类型丰富；分布式数据库1、什么是数据采集数据采集就是数据获取，数据源主要分为线上数据和内容数据日志采集系统（ApacheFlume、Scribe）01数据库采集系统（关系型、nosql等各种数据库）02网络数据采集系统（Scrapy框架、ApacheNutch）03大数据采集系统05PART大数据采集应用技能准备Python基础Linux操作系统基本操作数据库基础（SQL语句操作）环境准备PythonJdk(java环境)数据库（mysql）ThanksYOURTITLENothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothemanwhowilltry.Nothingisdifficulttothe