大数据解析与应用导论-全套PPT课件.pptx

大数据解析与应用导论Introduction to Big Data Analytics and Application授课教师: 赵春晖 .2.统计基础 课程综述2（实际应用）课程综述1（历史背景）课程综述3（基本内容1）第一章 绪论课程综述3（基本内容2） 价值高定义：大数据是指那些量大且复杂到无法用传统数据处理方法来处理的数据集合。速度快类型多(复杂)（一）什么是大数据文字，视频，图片，位置信息，购物信息，生活信息等数据产生迅速，处理数据速度快对大数据分析和挖掘创造价值体量大2013年人类全年产生4万亿GB数据。需要340多亿台容量最高的iphone存储，这些iphone叠起来厚度为19个地球文 字照 片位 置视 频发布朋友圈根据前人评论每分钟一千万条信息（一） 什么是大数据大数据，小数据衡量数据大小，不能脱离时代背景，不能脱离行业特征。大数据的力量与陷阱今日王谢堂前燕，暂未飞入百姓家——严格的大数据没那么普及！你若安好，便是晴天——小数据之美比尔盖茨于1981年对内存大小的预测?（二） 大数据的发展历程01 萌芽期随着数据挖掘理论和数据库技术的逐步成熟，一批商业智能工具和知识管理技术开始被应用，如数据仓库、专家系统、知识管理系统等。1990年1997年，“大数据”这一术语首次在美国计算机学会的数字图书馆中出现。02 成熟期Web2.0应用迅猛发展，非结构化数据大量产生，形成了并行计算与分布式两大核心技术，谷歌的GFS和MapReduce等大数据技术收到追捧，Hadoop平台开始大行其道。2000年2005年，蒂姆·奥莱利发表了《什么是Web2.0》一文，并在文中指出“数据将是下一项目技术核心” 03 大规模应用期大数据应用渗透各行各业，数据驱动决策，信息社会智能化程度大幅提高。2010年至今2011年，麦肯锡全球研究院提出“大数据”时代到来。2013年，中国计算机学会发布《中国大数据技术与产业发展白皮书》。2015年，中国政府发布《促进大数据发展行动纲要》。（三）大数据的影响大数据时代最大的转变就是思维方式的转变：全面而非抽样效率而非精确相关而非因果维克托·迈尔·舍恩伯格 著（三） 大数据的影响数据挖掘人类从依靠自身判断做决定到依靠数据做决定的转变，也是大数据作出的最大贡献之一。 ——《大数据时代》（三）大数据的影响控制+大数据控制的20字箴言始于感知精于计算巧于决策勤于控制善于学习状态感知实时分析自主决策精准控制学习提升大数据数据到信息，由信息到知识，由知识到智慧13000+个iPhone应用下载Skype上37万+分钟的语音通话发出1.68亿+条EmailTwitter上发布98000+新微博Facebook上更新69.5万+条新状态（四）大数据是如何产生的？数据爆炸式增长（每分钟）上传6600张新照片到flickr12306出票1840+张YouTube上上传600+新视频淘宝光棍节10680+个新订单 互联网（社交、有哪些信誉好的足球投注网站、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、工业生产、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。你的一切大数据都知道（四）大数据是如何产生的？你在这个世界上留下了太多的痕迹！！！喜欢什么品牌的衣服喜欢看东野圭吾的书喜欢听谁的歌特别喜欢篮球特别讨厌某个明星喜欢看文艺片是一个文艺青年旧手机坏了想换新的微博中关注哪些人（四）大数据是如何产生的？大数据产生的背后推手（五） 常见数据分析软件（六）知名数据竞赛2010年成立于墨西哥2017年被谷歌收购////2014年由马云发起400000+数据开发者//98国家地区////2017年启动首届比赛////大数据解析与应用导论Introduction to Big Data Analytics and Application授课教师: 赵春晖 .2.统计基础 课程综述2（实际应用）课程综述1（历史背景）课程综述3（基本内容1）第一章 绪论课程综述3（基本内容2） （一）大数据应用领域工业AI：发力最晚，但大器晚成（二）智能制造（二）智能制造01 收集采集过程与产品数据（生产过程数据，比如气温、气压、湿度、能耗、质量指标数据等）。02 传输来自传感器的数据经由全集成自动化（TIA）环境被传输至云端。04 闭环反馈借助闭环分析，这些数据可以立即反馈到生产中。它可以判断是否需要对产品进行最后阶段的检测。03 建模分析专家对基于人工智能和过程参数的算法进行训练。（二）工业AI阿里ET工业大脑开放平台，全球首个工业智能的孵化基地（二）工业AI（三）医疗大数据时空大数据感知疫情高危人群无人机开展疫情防控宣传扫二维码无接触登记健康信息……医疗大数据和人工智能在新冠肺炎的预防控制和治疗中起到了重要作