新一代信息技术导论第7章.数据为王-大数据.pptx

第3章安全第一—信息安全第7章数据为王——大数据

CONTENTS目录7.1大数据的概述7.2大数据的发展7.3大数据的相关技术7.4大数据的应用

大数据的概述7.1

通俗含义使用单台计算机没法在规定时间内处理完，或者压根就没法处理的数据集大数据的含义在一定时间范围内不能以常规软件工具处理（存储和计算）的大而复杂的数据集结构化的传统数据+非结构化的新数据

7.1.1大数据时代

1.数据治权来源钱学森领导国防科技情报和信息工作的长期实践，用系统工程的方法,实现数据“活化”意义着眼长远的战略性引领时代的前瞻性化知为智的创新性

2.数据主权运营主体数据的存储、处理、传输、利用的运营主体个人或组织国家对本国管辖地域范围内,任何个人和组织收集或产生的数据设施设备进行独立管辖,并采取措施使其免受他国侵害的权力

7.1.2数据来源

数据来源1.交易数据POS机、信用卡刷卡、电子商务、互联网点击、企业资源规划系统、销售系统、公司的生产、库存、订单、供应链2.手机数据手机应用程序产生了海量基于用户使用情况所形成的大数据，其中，能够反映用户流动轨迹的数据也包括在内

数据来源3.人为数据电子邮件、文档、图片、音频、视频，以及通过微信、博客等社交媒体产生的数据流4.传感器数据从环境中收集的根据外部刺激而变化的信号，可以用来监控、检测和识别周围环境的变化非结构性数据用于采集各种类型的环境参数

7.1.3大数据的特征

大量化PB（1000个T）EB（100万个T）ZB（10亿个T）数据来源：传感器、物联网、工业互联网、车联网、手机、平板电脑，微信和QQ聊天、上网有哪些信誉好的足球投注网站与购物等，都在产生着数量庞大的数据

大数据多样化多年来一直主导着IT应用的关系型数据库中结构化半结构化包括电子邮件、文字处理文件以及大量的网络新闻非结构化广泛存在于社交网络、物联网、电子商务之中

可变性指数据的变化，这意味着相同的数据在不同的上下文中可能具有不同的含义

快速化含义指数据生成，存储，分析和移动的速度意义无线或有线机器和传感器可以在创建数据后立即传递。这可以实现实时数据流，并帮助企业做出有价值的快速决策

价值含义大数据的核心特征意义通过从大量不相关的各种类型的数据中，挖掘出对未来趋势与模式预测分析有价值的数据

真实性指数据的准确度和可信赖度，代表数据的质量生产掌握数据信息数据进行专业处理

大数据的概念数据的来源及6大特征大数据时代数据治权数据主权的重要性

大数据的发展7.2

1.萌芽期2.成长期3.爆发期4.大规模应用期

萌芽期时间1980年-2008年现象商业智能工具和知识管理技术开始被应用，如数据仓库、专家系统、知识管理系统等

成长期时间2009年-2012年现象互联网数据呈爆发式增长，大数据技术逐渐被大众熟悉和使用

大数据爆发期我国在内的世界各个国家纷纷布局大数据战略2013年-2015年2013年百度、腾讯为代表的国内互联网公司出创新性的大数据应用2015年9月国务院发布《促进大数据发展行动纲要》

大规模应用期2016年至今以及以后，大数据应用渗透到各行各业，大数据产业迎来快速发展和大规模应用实施

预热阶段2014年3月，大数据“首次”写入政府工作报告起步阶段2015年8月，国务院印发《促进大数据发展的行动纲要》落地阶段2016年3月，《十三五规划纲要》第二十七章“实施”国家大数据战略2016年12月，工信部发布《大数据产品发展规划（2016-2020年）》

数据大国数据强国2017年10月推动大数据与实体经济深度融合2017年12月实施国家大数据战略进行集体学习2019年3月大数据连续6年写入政府工作报告2020年4月9日确数据要素市场配置上升为国家政策2021年完善大数据体系建设深化阶段

大数据的相关技术7.3

7.3.1大数据采集

数据采集数据预处理大数据存储数据分析挖掘

“集”则是数据的清洗、连接、整合，将价值密度低的数据转化为价值密度高的数据数据采集“采”主要是数据的获取

1.数据库采集定义指一些企业会使用传统的关系型数据库MySQL和Oracle等来存储数据。数据库Redis、HBase、NoSQL数据库

2.网络数据采集定义指通过网络爬虫或网站公开API（即数据源提供者开放的数据采集接口）等方式从网站上获取数据