01.《大数据导论》第1章 数据与大数据时代.pptx

第一章数据与大数据时代1.1从数据到大数据1.2大数据的概念1.3大数据思维1.5大数据处理流程《数据科学与大数据技术导论》of3811.6大数据应用1.4数据科学的内涵

1.1从数据到大数据第一章数据和大数据时代of3821．数据及数据的作用知识金字塔DIKW数据：原始素材，客观事物性质或状态的描述，文字、图形、图像、视频等类型信息：排序，筛选，公式等加工处理后有逻辑的数据知识：提炼信息之间的联系、行动的能力，完成任务智慧：关心未来，具有预测的能力

1.1从数据到大数据第一章数据和大数据时代of3831．数据及数据的作用数据的作用：志愿填报历年、各省、文理科、各专业分数线历年高校各专业分数线、线上、线下、位次、最高、最低、平均等；历年、各高校、各专业在各省的招生人数三年或五年高校招生趋势：位次变化、均值变化、最值变化、招生人数变化等。志愿填报规则从知识中，发现规律，做出决策，填报志愿：可能出现2种情况：如愿或失意，体现智慧

1.1从数据到大数据of384来自大量传感器的机器数据科学研究及行业多结构专业数据来自“大人群”泛互联网数据智能终端拍照、拍视频发微博、发微信其他互联网数据2.海量的数据的产生随着人类活动的进一步扩展，数据规模会急剧膨胀，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的各行业累积的数据量越来越大，数据类型也越来越多、越来越复杂，已经超越了传统数据管理系统、处理模式的能力范围，于是“大数据”时代到来。第一章数据和大数据时代

o9月，美国《自然》（Nature）杂志专刊——Thenextgoogle,第一次正式提出“大数据”概念。22011年2月1日，《科学》（Science）杂志专刊——Dealingwithdata，通过社会调查的方式，第一次综合分析了大数据对人们生活造成的影响，详细描述了人类面临的“数据困境”。32011年5月，麦肯锡研究院发布报告——Bigdata:Thenextfrontierforinnovation,competition,andproductivity,第一次给大数据做出相对清晰的定义：“大数据是指其大小超出了常规数据库工具获取、储存、管理和分析能力的数据集。”“数据”变身“大数据”，“开启了一次重大的时代转型”。“大数据”这一概念的形成，有三个标志性事件3．大数据的到来第一章数据和大数据时代1.1从数据到大数据

大数据数据源整合进行存储、清洗、挖掘、分析后得出结果直到优化企业管理提高效率云计算、硬件性价比的提高以及软件技术的进步智能设备、传感器的普及，推动物联网、人工智能的发展计算力运行、计算速度越来越快存储存储成本下降存储容量增加智能分析实现信息对等解放脑力，机器拥有人的智慧of386（1）大数据的技术支撑1.1从数据到大数据第一章数据和大数据时代

of387存储：存储成本的下降云计算出现之前云计算出现之后云计算出现前，数据存储成本是非常高的。例如，公司要建设网站，需要购置和部署服务器，安排技术人员维护服务器，保证数据存储的安全性和数据传输的畅通性，还会定期清理数据，腾出空间以便存储新的数据，机房整体的人力和管理成本都很高。云计算出现后，数据存储服务衍生出了新的商业模式，数据中心的出现降低了公司的计算和存储成本。例如，公司现在要建设网站，不需要去购买服务器，不需要去雇用技术人员维护服务器，可以通过租用硬件设备的方式解决问题。存储成本的下降，也改变了大家对数据的看法，更加愿意把1年、2年甚至更久远的历史数据保存下来，有了历史数据的沉淀，才可以通过对比，发现数据之间的关联和价值。正是由于存储成本的下降，才能为大数据搭建最好的基础设施。1.1从数据到大数据第一章数据和大数据时代

of388计算力：运算速度越来越快集中式处理：AI芯片：CPU（Intel）、GPU（NVIDIA）、美国Cerebras的WSE(WaferScaleEngine，世界最大的芯片）分布式系统基础架构Hadoop的出现，为大数据带来了新的曙光；HDFS为海量的数据提供了存储；MapReduce则为海量的数据提供了并行计算，从而大大提高了计算效率；Spark、Storm、Impala等各种各样的技术进入人们的视野。海量数据从原始数据源到产生价值，期间会经过存储、清洗、挖掘、分析等多个环节，如果计算速度不够快，很多事情是无法实现的。所以，在大数据的发展过程中，计算速度是非常关键的因素。第一章数据和大数据时代1.1从数据到大数据

of389智能：机器拥有理解数据的能力大数据带来的最大价值就是“智慧”，大数据让机器变得有智慧，同时人