大数据分析与工具 第2章 大数据分析基础.pptxVIP

第二章大数据分析基础

案例：剑桥分析剑桥分析（CambridgeAnalytica）是一家英国私营公司，专门为各国选举过程提供数据采集、分析和战略传播。2016年，剑桥分析非法获取了5000万Facebook用户的个人信息；通过对这些用户进行大数据的分析，得到他们的喜好、偏向、政治倾向等隐私信息；然后通过Facebook的广告系统精准投放用户喜好的新闻和广告，潜移默化地给他们洗脑，最终影响他们的投票结果。黑天鹅事件：2016.6，英国，脱欧公投，结果51.9%，纪录片《脱欧：无理之战》（2019）2016.11，美国，总统选举，特朗普当选，结果274：218，纪录片《隐私大盗》（2019）

本章内容概要2.1大数据基础知识2.2大数据的国内外发展情况2.3大数据技术及应用2.4AIStudio平台介绍2.5Python语言基础3

2.1大数据基础知识大数据最早在上世纪90年代被提出，自2012年来大数据（bigdata）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。2.2.1大数据的产生及概念4互联网（社交、有哪些信誉好的足球投注网站、电商）、移动互联网（微信、微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂的产生着数据。“大数据”是“数据化”趋势下的必然产物。随着这一趋势的不断深入，在不远的将来我们将身处于一个“一切都被记录，一切都被数字化”的时代。有研究根据数据产生的不同方式分为存量数据和增量数据，其中增量数据是主体。存量数据：行业信息化建设等增量数据：物联网和移动互联网等行业信息化建设◆医疗、交通、金融◆大数据“存量”物联网◆传感器、智慧地球◆大数据“增量”移动互联网◆微信、微博◆大数据“增量”

2.2.1大数据的产生及概念对于大数据的定义，权威机构们给出了不同的表述。研究机构Gartner给出的定义：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。维基百科对大数据的定义则简单明了：大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。咨询公司麦肯锡（McKinsey）给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。说明：不管是信息资产还是数据集合，这些定义无不在昭示着大数据对于人们未来社会的价值。不管是哪一种定义，都体现出了大数据的四大特性。5

2.2.1大数据的产生及概念Volume（数据体量巨大）Byte（字节），KB（千字节）、MB（兆字节）、GB（吉字节）、TB（太字节）、PB（拍字节）、EB（艾字节）、ZB（泽字节）、YB（佑字节）Velocity（处理速度快）“1秒定律”或者秒级定律Value（价值密度低）以大量连续监控的视频为例，可能有价值的数据仅仅一两秒。Variety（数据类型繁多）结构化数据半/非结构化数据61Byte=8Bit1KB=1,024Bytes1MB=1,024KB1GB=1,024MB1TB=1,024GB1PB=1,024TB=1,048,576GB1EB=1,024PB=1,073,741,824GB1ZB=1,024EB=1,099,511,627,776GB1YB=1,024ZB=1,125,899,906,842,624GB

2.2.1大数据的产生及概念Variety，数据类型繁多。类型的多样性让数据被分为3种数据结构：结构化数据、半结构化数据和非结构化数据。结构化数据，是指由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。一般特点是：数据以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相同的。7

2.2.1大数据的产生及概念非结构化数据顾名思义，就是没有固定结构的数据。各种办公文档、文本、图像、音频、视频等都属于典型的非结构化数据。对于这类数据，我们一般直接整体进行存储，而且一般存储为二进制的数据格式。因此，互联网行业产生的数据以非结构化数据为主。半结构化数据是结构化数据的一种形式，介于完全结构化数据和完全无结构的数据之间的数据，XML、HTML和JSON文档就属于半结构化数据。有研究表明，在全球新增的数据中，半/非结构化数据占到整个数据总量的80-90%8结构化数据10-20%非、半结构化数据80-90%

2.1.2大数据时代目前，人类