大数据及其在教育中应用_陆璟.pdfVIP

ZHUANTIYANTAO 专题研讨 大数据及其在教育中的应用 文 陆 璟 笪 〔摘 要〕目前对大数据的定义有三种，分别从数据体量、复杂性程度 、价值这三个角度来界定,反映 了大 数据三个最主要的特性。大数据在教育领域的主要应用是教育数据挖掘和学习分析。今后要加强多个来源的数 据库整合 ，充分利用在线数据开展教育舆情分析等研究，在确保数据安全的前提下与专业数据公司开展合作。 〔关键词〕大数据 数据挖掘 学习分析 一、大数据的定义和类型 数据。 1.定义 第一次提出大数据的定义并且估计大数据的商 “大数据”概念第一次创造出来是在2008 年9 业价值的是全球著名咨询公司麦肯锡。2011 年麦肯 月4 日，谷歌成立10 年前际，《自然》推出了大数据 锡全球研究院发布了《大数据：创新、竞争和生产力 [2] 专辑，包括8 篇大数据专题文章加上 1 篇编者按。 的下一个新领域》 研究了数据和文档的规模，同时 ， 虽然该专辑并没有直接提出大数据的定义，但是从 分析了处理这些数据能够释放出的潜在价值。麦肯 互联网技术、网络经济学、超级计算、环境科学、生 锡对大数据的定义是从数据集的“大体量”入手的： 物医药等多个方面介绍了海量数据带来的挑战。概 大数据是指那些规模大到传统的数据库软件工具已 括而言，科学研究产生的数据集越来越大，并且数 经无法采集、存储、管理和分析的数据集。麦肯锡故 据越来越复杂，使得研究人员都转向依靠数据挖掘 意采用了主观的定义，没有定义多大的数据集才是 工具、在线的团队合作（如维基百科）和复杂的可视 大数据，所以这个定义中的“大”是动态的概念。他们 化技术。每年的研究数据聚合起来形成了大数据资 的假设是，随着技术的进步，随着时间的推移，符合 源，依靠研究者自身去花大量精力记录和管理数据 大数据界定的数据集大小也将增加。还有，不同部门 已经跟不上发展，科学研究数据的长期管理和维护 对大数据的界定也可能不同，这取决于他们通常用 需要有大机构的支持。但是政府、社会机构对此还 什么软件，以及某个特定产业的数据库是多大的。在 没有充分认识，文化还跟不上数据的发展。这组文 考虑这些因素后，许多部门的大数据规模将从几十 章的目的是引起各方面对数据管理和分析的重视， 个TB 到多个PB （几千个TB）。维基百科采纳了麦肯 指出充分利用数据实际上是需要额外建设大量基 锡的定义，认为大数据是一组庞大而复杂的数据集 础设施、需要经费和资源支持、需要建立标准、需要 的集合，大且复杂到难以用现有的数据库管理工具 [1] [3] 工具和培训、需要专业的数据支持服务的。 或传统的数据处理应用来处理。 我国学界也采用 前对大数据的定义有三种，分别从数据体 [4] 目 了这一定义 。 量、复杂性程度、价值这三个角度来界定什么是大 德勤咨询技术负责人罗伯特·福莱对大数据的 上海教育科研 2013.9 5 SHANGHAI JIAOYU KEYAN 专题研讨 ZHUANTIYANTAO 定义是从“复杂性程度大”入手的。他在2012 年提 来自日常生活，特