大数据与统计学培训.pptx

  1. 1、本文档共51页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
大数据与统计学浙江工商大学李金昌引言 作为归纳分析的科学,统计学可以从亚里士多德的“城邦政情”算起,但作为一门数据分析的科学则应从配第的《政治算术》算起。 300多年来,统计学围绕如何收集、整理和分析数据这一主线而发展,构建起了庞大、多元、融合的应用方法体系,帮助解决了各个领域大量复杂的现实问题。 统计学的发展,是根据数据的型态和问题的本质来改变的,不是因为我们会做他背后的数学而发展的。不要因为(统计的)问题困难而去做它;也不要因为它难而不做。(贺吉士J.L.Hodges, 1922-2000) R.C. Rao:统计的分析形式随时代的推移而变化着,但是“从数据中提取一切信息”或者 “归纳和揭示”作为统计分析的目的却一直没有改变。 大数据时代的来临,迫使统计学站在一个新的起点上。 1998年,《科学》杂志刊登的一篇介绍计算机软件HiQ的文章《大数据的处理程序》中第一次正式使用了大数据(big data)一词。2008年9月《自然》杂志出版“big data”专刊。 最近几年,关于大数据的文献迅速增加,但绝大多数出于计算机领域的学者之手,较少有基于统计学视角的深度学术讨论。一、对大数据的认识 最早与大数据概念有关的学科:天文学、气象学和基因学,一开始就依赖于海量数据分析方法。 但从现代意义上看,大数据可以说是计算机与互联网相结合的产物,前者实现了数据的数字化,后者实现了数据的网络化。 大数据的本意是,所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 4V特点:Volume、Velocity、Variety、Value。大数据自古有之?人类曾经开展过的人口普查、产业普查等数据,是否属于大数据?在计算机技术与网络化未得到充分发展以前,人们自然难以联想出大数据这个概念。从统计学的角度看,大数据不是主要基于人工设计而获得有限、固定、不连续、不可扩充的结构型数据,而是主要基于现代信息技术与工具自动记录、储存、能连续扩充、大大超出传统统计记录与储存能力的一切类型的数据,最大特征是数字化基础上的数据化。一定程度上看,大数据并不是一个严格的概念,而是一个比喻式的称呼。(一)如何理解大数据的“大”一是“全体”的意思,即大数据就是全体数据,并且数据量必须达到一定的规模。二是“可扩充”的意思,即大数据就是可以不断扩充容量的数据,任何数据一旦发生就可以被记录、被吸收。三是“有待挖掘”的意思,即大数据就是有待挖掘的数据。大数据可能包含着丰富的、具有大价值的信息,但被超大量的数据所掩盖、所分散而导致价值密度低,只有挖掘才能发现。(二)如何理解大数据的“数据”历史告诉我们,数据的含义是随着人类认识社会与自然现象的视野的变化、以及认识能力与技术水平的提升而改变的,经历了从传统运算型数据到现代数字化数据的变化过程。把一切信息都看成数据是当今社会的一个特征,是一个自然进化的结果。大数据中的数据其实就是一切可以通过数字化手段记录的信息。大数据除了结构型数据与非结构型数据的分类外,还可作以下分类:如果从大数据产生的途径或渠道来看,大数据可以分为社交网络数据、人机交换数据和感应数据(机器数据)。如果从功能上看,大数据可以分为交易型数据、流程型数据和交互型数据。需要特别指出的是,网络数据在大数据中占有特殊的份量,又可分为自媒体数据、日志数据和富媒体数据三类。从时间维度上,还可以把网络大数据分为以用户数据、日志数据为代表的历史数据,以及以视频监控数据和流媒体数据等为代表的流式数据,其中历史数据蕴含着大量有价值的信息。基于数据的分类,储存数据与管理的方式——数据库也有两种类型:关系型数据库(SQL接口)和非关系型数据库(NOSQL接口)。(三)大数据是不是好数据?首先,大数据不会自动产生好的分析结果,不会自动把隐藏其中的秘密呈现出来,如果数据不完整、取舍不当或遭受破坏,那么就会产生错误的结论。其次,大数据是动态的,具有阶段性特征,同样的关联词在不同时段可能具有不同的含义,围绕关联词的话题会随着时间的推移而会发生某些偏离,从而导致有偏的结论。第三,对于我们所关心的研究主题,可能会受到大量没有实际意义、实际内容甚至虚假信息的干扰,让我们面对一堆数据无从下手,大数据变成了大迷惑,甚至变成了大错误。第四,大数据中有很多小数据问题,这些问题并不会随着数据的增加而消失,反而可能更严重。二、数据的变化与统计分析方法的发展(一)数据的变化回顾历史可以发现,数据的变化与统计分析方法的发展呈现高度吻合的关系。有一种观点认为,数据的变化过程可以分为三大阶段:数据的产生、科学数据的形成和大数据的诞生。数据的产生: 数的产生基于以下三个要素,一是数,二是量,三是计量单位。 数起源于人类祖先对“多”或“少”的认识,阿拉

文档评论(0)

职教魏老师 + 关注
官方认证
服务提供商

专注于研究生产单招、专升本试卷,可定制

版权声明书
用户编号:8005017062000015
认证主体莲池区远卓互联网技术工作室
IP属地河北
统一社会信用代码/组织机构代码
92130606MA0G1JGM00

1亿VIP精品文档

相关文档