大数据时代的敏捷商道——华为SmartVision大数据解决方案.pdf

大数据时代的敏捷商道——华为SmartVision 大数据解决 方案 这是一个最好的时代，也是一个智慧的时代。随着科技发展日新月异，我们的生活、工作越来越被数字化， 大数据成为云计算后信息时代的下一个热词。根据IDC 等相关咨询公司的报告，在接下来的10 年中全球 大数据容量将会增长50 倍，仅在2011 年就产生了1.8ZB （即1.8 万亿GB）的大数据。未来10 年结构化 数据的增速约为32%，而非结构化数据的增速则将达到63%，非结构化信息将占到未来10 年新生数据的 90% 。 大数据时代企业客户的“敏捷”诉求 那么，企业客户如何能有效利用大数据在当今激烈的市场竞争中占得先机？越来越多企业已经认识到数据 是企业最重要的资产，通过发掘数据的潜在价值进行开源节流能够带来巨大的经济效益，信息战与价格战 相比无疑是更好的生存发展方式，通过大数据处理完成敏捷商道占领战略制高点，通过快速的市场反应能 力完成“快鱼吃慢鱼”。 然而，面对着数10 年企业经营保存下来的蕴含着巨大金矿的海量数据，企业客户也会有一些茫然和不适。 这是因为：  传统数据处理方式适合处理结构化数据，容量有限且成本高昂 企业客户一般使用数据仓库、ODS 和数据集市进行数据后处理。传统的数据处理方式是基于关系 型数据库加小型机硬件的组合方式，即数据仓库，初始投资巨大并且后期维护扩容成本也非常高， 容易被厂商绑定。在大数据时代更容易造成投资成本激增。  传统数据处理方式完成的数据处理量有限，数据质量难以保证 大数据时代企业要处理的数据总量是巨大的，大大超出以往的数据规模，一般数据量在百TB 到 PB 级别规模；而传统的关系型数据库加小型机的高成本组合方式限制了数据处理的容量和种类， 从而也限制了企业对海量异构数据的敏捷探索，使得大量有价值的数据从未被真正利用。更进一 步，数据的一致性、准确性、复杂的数据转换、去重等工作也难以开展，数据质量面临巨大挑战。  企业多层次的数据处理时效性难以保证 在不同部门和不同场景，客户对于时效性有不同的要求，可以从毫秒级到数天不等。例如传统方 式对于风险控制，一般采用事后监督的方式，不能满足企业实时经营决策的要求。在另一个场景 中，传统ETL 和存储过程的数据方式在大数据量情况下也日显疲态，有时候一次数据处理计算竟 然需要10 天左右的时间，对于周报等报表分析在技术上无法支撑。  传统较为单一的数据处理分析模式难以支撑企业混业经营的需求 伴随企业多元化经营战略，以及新兴社会化媒体数据类型出现，数据交叉分析需求旺盛。大数据 时代数据源空前丰富，包括业务系统、视频监控、终端设备、互联网有哪些信誉好的足球投注网站、社交网络、电信通话 记录、出入境记录、医疗记录、电子商务等等，而网页、微博、视频等非结构化信息将占到未来 10 年新生数据的90% 。多元化经营下，推荐等交叉营销手段将会越来越重要，社交媒体、O2O 等社会化营销也将进入企业经营决策的考量范围。如何通过整合内外部数据源，通过数据关联性 精准定位高价值目标客户，并降低数据整合成本，变得越发重要。  传统方式下数据被分散在企业内部，“碎片化”的数据保存方式造成数据难以高效利用 目前企业内部的数据类型也是非常丰富的，既包括交易的结构化数据，也包括日志、图片、音视 频等非结构化数据。实际情况下，这些数据被保存在不同的数据系统中，呈现出一种“碎片化”的 状态，没有做到统一存储、统一管理。在传统方式下出于成本的考量，企业往往只会在关系型数 据库中保存最近几年的交易数据，大量的历史数据被保存在磁带机或光盘库中，客观上造成了这 部分数据的数据恢复时间非常长，存储弹性扩展能力也比较差，很难基于历史数据进行客户行为 分析、多年度对比分析等业务分析。 总之，现阶段企业客户在大数据处理上的主要矛盾就是日益增长的数据量、数据种类与传统数据保存和处 理方式的矛盾。针对企业精细化运营的要求，华为借助互联网行业新技术革新了传统企业应用的数据基础 架构，基于x86 服务器提供了SmartVision 大数据处理解决方案。 华为SmartVision：催生数据基础架构的革新  实时高效流处理能力