大数据时代：五大商业分析技术趋势.pdf

大数据时代：五大商业分析技术趋势 目前，趋势中心对如何应对分析挑战的关注力度并不亚于他们考虑在新商业视角中如何充分利用机 遇的力度。例如，随着越来越多的公司开始不得不面对海量数据以及 考虑如何利用这些数据，管理 与分析大型不同数据集的技术开始出现。提前分析成本与性能趋势意味着公司能够提出比以前更为 复杂的问题，提供更为有用的信息以 帮助他们运营业务。 在采访中，首席信息官们总结出了 5大影响他们进行分析的 IT 趋势。它们分别为：大数据的增长、快 速处理技术、 IT 商品的成本下降、移动设备的普及和社交媒体的增长。 1.大数据 大数据指非常庞大的数据集，尤其是那些没有被整齐的组织起来无法适应传统数据仓库的数据集。 网络蜘蛛数据、社交媒体反馈和服务器日志，以及来自供应链、行业、周边环境与监视传感器的数 据都使得公司的数据变得比以往越来越复杂。 尽管并不是每个公司都需要处理大型、非结构型数据集的技术。 VeriskAnalytics 公司首席信息 官PerryRotella 认为所有的首席信息 官都应当关注大数据分析工具。 Verisk 帮助金融公司评估风险 ，与保险公司共同防范保险诈骗，其在 2010 年的营收超过了 10亿美元。 Rotella 认为，技术领导者对此应当采取的态度是，数据越多越好，欢迎数据的大幅增长。 Rotella 的 工作是预先寻找事物间的联系与模型。 HMS 公司首席信息官 CynthiaNustad 认为，大数据呈现为一种 爆炸性“ ”增长趋势。 HMS 公司的业务 包括帮助控制联邦医疗保险 （Medicare ）和医疗补助（ Medicaid ）项目成本和私有云服务。其客户 包括 40 多个州的健康与人类服务项目和 130 多个医疗补助管理计划。 HMS 通过阻止错误支付 在2010 年帮助其客户挽回了 18 亿美元的损失，节约了数十亿美元。 Nustad 称： 我们正在收集并追“ 踪大量素材，包括结构性与 非结构性数据，因为你并不是总是知道你将在其中寻找什么东西。 ” 大数据技术中谈论最多的一项技术是 Hadoop 。该技术为开源分布式数据处理平台，最初是为编辑 网络有哪些信誉好的足球投注网站索引等任务开发的。 Hadoop 为多个 非关系型（“ NoSQL ）”技术（其包括 CouchDB 和 MongoDB ）中的一种，其通过特殊的方式组织网络级数据。 Hadoop 可将数据的子集合分配给成百上千台服务器的处理，每台服务器汇报的结果都将被一个主 作业调度程序整理，因此其具有处理拍字节级数据的能力。 Hadoop 既能够用于分析前的数据准备 ，也能够作为一种分析工具。没有数千台空闲服务器的公司可以从亚马逊等云厂商那里购 买Hadoop 实例的按需访 问。 Nustad 称，尽管并不是为了其大型的联邦医疗保险和医疗补助索赔数据库，但是 HMS 正在探 索 NoSQL 技术的使用。其包括了结构性数据，并且能够被 传统的数据仓库技术所处理。她称，在 回答什么样的关系型技术是经实践证明最好用的解决方案时，从传统关系型数据库管理出发是并不 明智。不过， Nustad 认为 Hadoop 正在防止欺诈与浪费分析上发挥着重要作用，并且具备分析以各 种格式上报的病人看病记录的潜力。 在采访中，那些体验过 Hadoop 的受访首席信息官们，包括 Rotella 和 Shopzilla 公司首席信息 官JodyMulkey 在内都在将数据服务作为公司一项业务的公司中任职。 Mulkey 称： 我们正在使用“ Hadoop 做那些以往使用数据仓库做的事情。更重要的是，我们获得了以 前从未用过的切实有用的分析技术。 ”例如，作为 一家比较购买网站， Shopzilla 每天会积累数太字节 的数据。他称： “以前，我们必须要对数据进