信息技术 第四章专题七初识大数据 教学PPT课件.pptxVIP

专题七　初识大数据考纲要求（1）了解大数据基础知识；（2）了解大数据采集与分析方法。 1．大数据的概念 大数据（big data）是指无法在可承受的时间范围内用常规软件工具进行捕捉、 管理和处理的数据集合。大数据体量巨大，从TB级别，跃升到PB级别，1PB=1024TB，今后甚至用到EB（1EB=1024PB），ZB（1ZB=1024EB）等更大的单位。大数据已成为国家基础性战略资源，大数据正日益对全球生产、流通、分配、消费活动，乃至经济运行机制、社会生活方式和国家治理产生重要影响。 2．大数据的应用 大数据的意义在于，人们从庞杂的数据中挖掘出有价值的数据，并运用于科研、管理、农业、金融、医疗和教育等各个社会领域，为生活、生产和社会发展服务。当前，大数据的应用非常广泛，如金融领域，银行可以根据用户的年龄、资产规模、理财偏好等，对用户群进行精准定位，分析出潜在的金融服务需求；如电商领域，淘宝、京东等电商平台利用大数据技术，对用户信息进行分析，从而为用户推送用户感兴趣的产品，以刺激消费；智慧城市建设方面，通过大数据，政府部门得以感知社会的发展变化需求，从而更加科学化、精准化、合理化的为市民提供相应的公共服务以及资源配置；如交通领域，通过大数据时时了解道路车流量和交通状况，有助于交通部门提高对道路交通的把控能力，防止和缓解交通拥堵，提供更加人性化的服务；如教育领域，通过大数据进行学习分析，能够为每位学生创设一个量身定做的个性化课程，为学生的多年学习提供一个富有挑战性而非逐渐厌倦的学习计划等等。一．大数据基础知识3．大数据的特点 大数据通常具有 5V 特征，也就是 Volume（数据量）、Variety（多样性）、Velocity（速度）、Value（价值）、Veracity（真实性），此外还具有可变性、复杂性等特征。（1）数据量巨大。大数据的体量很大，且数据集合的规模还在不断扩大。随着信息技术的大规模普及和应用，教育、商业、工业、科学研究、医疗等各行各业所产生的数据量都呈现出指数增长的趋势。（2）多样性。大数据来自多种数据源，数据类型繁多和格式非常丰富，如网络日志、视频、图片、音频等。随着智能设备、社交网络等的流行，机器和传感器数据（如设备日志、地理位置信息）、社交数据（如网站用户行为记录数据）、电商数据（商品数据、交易记录、消费记录）等各种新类型数据越来越多。（3）处理速度快。由于数据量增长速度快，大数据处理速度也必须快，且时效性要求高。大数据往往以数据流的形式动态地、快速地产生，需要在一定的时间限度下得到及时处理。（4）价值密度低。大数据的价值密度是比较低的。在数据量呈指数增长的同时，隐藏在海量数据里的有用信息却并没有以相应比例增长，这使人们获取有用信息的难度加大。以监控视频为例，在长时间连续不间断的监控过程中，有用的数据可能仅仅占一两秒时间。大数据技术就是要从价值密度低的海量数据中快速挖掘出有价值的信息。（5）真实性。大数据的真实性主要包括数据的可信性、真伪性、来源和信誉、有效性等。一．大数据基础知识 要从海量的数据中发现和创造价值，取决于大数据分析与数据挖掘的能力。随着计算机运算能力、数据采集与存储技术的持续改进，大数据分析与数据挖掘能力得到迅猛发展，使得先前未知或应用价值不明确的信息被发现和利用。 大数据处理流程主要是指从海量数据中获取需要的信息并进行加工分析得到有用的知识的过程。大数据处理通常在大数据平台上进行，大数据处理流程一般包括四大步骤：数据采集与预处理、数据存储、数据挖掘及数据呈现。 1．大数据采集 大数据的采集是指利用多个数据库来接收发自客户端，如网站、App或者传感器（摄像机、雷达、卫星）发出的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Access等来存储每一笔事务数据。在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户进行访问和操作，比如火车票售票网站和淘宝网，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。二．大数据采集与分析方法2．大数据分析 大数据分析是指对大规模的数据进行分析，常用的数据分析方法有：统计分析、数据挖掘、描述性分析、预测性分析、指导性分析和诊断性分析等。面对海量的数据，为了有哪些信誉好的足球投注网站、处理、分析、归纳和总结其深层次的规律，大数据分析应运而生。它的应用日益丰富，例如实时公交系统根据用户当前位置，迅速定位最近的公交站点，查找系统中公交车辆的位置数据，选出经过该站点所有线路车辆的即将到站信息，使用户可以直观地在手机上查看车辆实时位置。用户和车辆的位置信息通过卫星定位系统、Wi-Fi热点和基站的位置