大数据与化学数据挖掘.pdfVIP

2015 年 第 60 卷 第 8 期：694 ~ 703 《中国科学》杂志社 专题: 大数据与化学 评 述 SCIENCE CHINA PRESS 大数据与化学数据挖掘 刘言, 蔡文生, 邵学广* 南开大学化学学院分析科学研究中心, 天津 300071 * 联系人, E-mail: xshao@ 2014-11-03 收稿, 2014-12-08 接受, 2015-01-16 网络版发表 摘要 数据是重要的战略资源, 大数据挖掘技术已成为学术界、企业界甚至各国政府关注的热点. 关键词 本文介绍了大数据的基本概念及发展现状, 综述了与化学研究有关的大数据研究状况, 讨论了大 大数据 数据在基础理论与关键技术2个层面上的主要问题以及大数据挖掘技术在化学各领域中的应用, 数据挖掘 并对大数据发展的未来及其在化学学科中的应用前景进行了展望. 可视化 云计算 化学 变迁而发现新的商机[1] 、优化库存和物流缓和供需矛 1 大数据的基本概念 盾、控制预算开支、提高服务质量. 在医疗领域, 大 随着人类对自然和社会认识的进一步加深及人 数据分析被用于复杂疾病的早期诊断[2] 、心血管病的 [3] [4] [5] 类活动的进一步扩展, 科学研究、互联网应用、电子 远程治疗 、器官移植 、HIV抗体的研究 等已经 商务、移动通讯等诸多领域产生了多种多样、数量巨 取得了一定的效果. 在生命科学领域, 大数据技术被 [6] [7] [8] 大的数据. 在此背景下, 一个崭新的概念——大数据 用于基因组学 、生物医学 、生物信息学 等研究. (big data)应运而生, 成为世界各国关注的热点. 大数 此外, 大数据技术还被用于温室气体排放的检测[9] 以 据挖掘技术及其应用创造了巨大价值, 对国家治理 及政府信息管理[10]等公共领域. 模式、企业决策、组织和业务流程以及个人生活方式 都将产生巨大影响. 2 大数据的发展现状 大数据尚无统一的定义. 一般认为, 大数据是一 2008年, Science发表文章“Big data: Science in 种新现象, 具有4个带“V”字的特点: (1) 数据体量 the petabyte era”[11]. 2011年, 麦肯锡公司发布了《大 (volume) 巨大, 达TB 级, 甚至PB 级; (2) 数据种类 数据: 下一个前沿, 竞争力、创新力和生产力》的调 (variety)繁多、来源复杂、格式多样, 除了结构化数 研报告, 指出大数据研究将带来巨大价值. 2012年, 据, 还有半结构化和非结构化数据; (3) 价值(value) 美国奥巴马政府宣布投资2亿美元启动“大数据研发 密度低, 在大量的数据中, 有价值的信息比例不高. 计划”, 旨在提高和改进从海量和复杂数据中获取知 例如在连续监控视频中,