大规模媒体数据智能挖掘.pdfVIP

文／吕学强 在：一方面大量数据被收集存放在大型 的一项调查显示，互联网对报纸读者的 智能挖掘简介 和大量的数据仓库中，同时缺乏强有力 影响只有2％左右，造成的冲击几乎可以 的数据分析工具，这些数据就变成了“数 忽略不计。但到了2004年，一项针对北 智能挖掘就是从大量的、不完全的、 据坟墓”。另一方面，还存在大量的瞬时 京市场的调查显示，北京35岁以下的年 有噪声的、模糊的、随机的实际应用数据 数据需要瞬时处理转化为可用的信息。 轻人中，有11％的人已不阅读报纸，而习 中，提取隐含在其中的、人们事先不知道 因此，数据的丰富带来了对强有力数据 惯于从互联网上获取新闻信息。而且，北 的、但又是潜在有用的信息和知识的过 分析工具的需求，数据和信息之间的鸿 京综合性报纸读者的平均年龄已超过41 程，是人们长期对数据库技术进行研究 沟要求系统的开发智能挖掘工具，将数 岁，报纸读者的老龄化趋势日益显著。这 和开发的结果，又称为数据挖掘或知识 据坟墓转化为知识 “金块”。 也从一个侧面显示出互联网对传统媒体 挖掘。 已造成了很大的冲击。 智能挖掘的核心技术经历了十多年 互联网对传统媒体的挑战 在互联网的作用下，热点新闻的产 的发展历程，其中包括数理统计、机器学 生和传播的方式也发生了根本性的变化， 习、人工智能等技术。如果按照挖掘任务 中国从1 994年接入Internet至今，国 如著名的宝马案、刘涌案，以及最近的华 分类，可分为：分类或预测知识模型发 内的互联网实现了飞速的发展，据 南虎事件等。这些事件也都在提醒传统 现、数据总结、数据聚类、关联规则发现、 CNNIC(中国互联网信息中心)第20次调 媒体应尽早向互联网转型，成为适应网 时序模型发现、异常和趋势发现等；按照 查，截至2007年6月，中国网民的数量 络时代的新媒体。但新媒体不仅仅是传 挖掘对象的存储格式分类，可分为：关系 已达到了1．62亿，仅次于美国2．11亿的 统媒体的数字化和网络化延伸，数字化 数据库、面向对象数据库、空间数据库、 规模，位于世界第二，而且还在以31．7％ 和网络化只是新媒体发展的第一步，如 时态数据库、文本数据库、多媒体数据 的年增长率迅速增长。现如今，人民的日 果仅按照数字化和网络化来建设新媒体 库、异构数据库、数据仓库、演绎数据库、 常工作、生活、娱乐，以及政府和企业的 是不会成功的。新媒体是对传统媒体的 web数据库等；按照挖掘方法分类，可分 运转都与互联网有着直接而又密切的关 一 种革命，这不仅体现在编辑和传播理 为：统计方法、机器学习方法、神经网络 系。 念的改变上：以服务为基础，以用户为核 方法、数据库方法、粗糙集方法、模糊集 而以前占领着绝对优势的传统媒体， 心，实现真正互动和个性化，并进行精准 方法等。 在当今互联网大潮迅速发展的形势下也 营销；还体现在技术的创新上：打破以前 智能挖掘是一门交叉学科，它把人 将受到严峻的挑战，很多专家和专业人 的封闭状态，以标准和开放作为新媒体 们对数据的应用从低层次的简单查询， 士也都对此进行了分析和预测，如美国 发展的动力。所以，新媒体发展的起步阶 提升到从数据中挖掘知识，提供决策支 北卡罗莱纳州立大学的菲利普 ·迈尔教 段可以与互联网模式并行，但要逐步融 持。由于这些特点，智能挖掘被广泛的应 授宣称美国报纸的历史将于2044年10月 入新的理念和技术。 用于数据库营销、客户关系管理、背景分 终结； 经济学人》杂志记者克鲁斯：大 析、顾客行为预测、市场趋势预测、市场 众媒体时代正让位于个人媒体及参与性 智能挖掘与传统媒体创新 营销等方面，并取得了相当多的成功案 媒体，这对媒体产业和我们身处的社会 例。 都将是场深刻的变革。 媒体的新生态 (如图1所示)有着 同时，随着海量数据的快速增长，智