电信大规模数据处理需求及实践.ppt

集团06~09年的IT投资分别是30、31、45、32亿 * * 集团06~09年的IT投资分别是30、31、45、32亿 * 广州研究院 中国电信大规模数据处理需求及应用实践 中国电信广州研究院 2010－6 目录 电信面临的海量数据处理问题 云计算大规模分布式处理平台 云计算分布式技术应用实践 背景—全面数据时代 海量电信运营数据 海量互联网数据 计费数据 网页 用户账户数据 网络流量数据 安全数据 音频 图片 每用户每年产生150kB计费信息，1000万用户每年10TB，实际上往往50TB以上，在100TB左右 视频 一个地市运营商，每天产生24亿条话单记录，约1TB，一年约350TB 用户数据 ChinaNet骨干网，每天产生10TBnetflow流量 截至2009年互联网有336亿个网页，每个网页28.6KB，约1PB 海量数据时代，我们疲于收集的是蕴含信息的“财富”还是占据存储空间和处理能力的“垃圾”？ 背景—电信系统vs互联网系统 计费系统 客户关系管理系统 经分系统 有哪些信誉好的足球投注网站引擎 社交网络 门户网站 互联网公司 应对措施 推出基于mapreduce的云计算技术架构，30万台服务器，为有哪些信誉好的足球投注网站等互联网应用提供海量存储和处理能力 领导Hadoop开源云计算架构，部署生产集群/科研集群，提供个性化、反垃圾邮件等服务 每天80-90TB，部署Hadoop集群，2250台机器，贡献HIVE等数据分析工具 每天500TB，部署Hadop集群，1100台机器，海量数据存储和分布式计算 基于mapreduce开发分布式处理平台，启动阿拉丁计划，有哪些信誉好的足球投注网站“暗网”信息 背景—业界主要应对措施 中国移动大云(BigCloud) 基于X86架构的大规模服务器集群+MapReduce云计算分布式技术逐渐成为业界趋势 基于并行计算的数据挖掘、机器学习方法逐渐成为主流的数据分析方法 开源Hadoop云计算架构被广泛用于构建企业大规模服务器机群，提供大规模存储和计算能力 云计算分布式技术与数据仓库技术相结合，主要用于数据分析工作，不适合于实时事务操作 构建中国电信大规模分布式处理平台，为电信应用和互联网应用提供海量数据存储和并行计算能力 目录 电信面临的海量数据处理问题 云计算大规模分布式处理平台 云计算分布式技术应用实践 分布式服务引擎（DSE） DSE定义：中国电信PaaS云计算平台，利用云计算分布式技术解决海量数据分析处理问题，并将一系列基于数据分析和信息处理的基础服务抽象成公共模块提供给用户，简化用户应用的开发周期。 能力定位：面向亿兆级数据规模的系统 功能定位：电信应用的核，互联网应用的组件 设计定位：抽象公共基础服务，简化应用开发 SOAP REST HTTP CLI 海量存储及分布式计算服务 基础能力 （数据分析、信息处理） 服务能力 （有哪些信誉好的足球投注网站、位置、分类） 基础平台服务 DSE 运营管理系统 互联网应用开发者 电信应用开发者 OSS/BSS 互联网应用 移动互联网 应用 物联网应用 科学计算 DSE-技术架构 分布式数据库 分布式文件系统 任务分解及调度 缓存服务 硬件平台 分布式平台 基础能力层 （数据分析、 信息处理） 内容分类及过滤 有哪些信誉好的足球投注网站服务 位置服务 服务能力层 （信息服务） ONS系统 EPC查询 流量分析 可视检索 餐饮有哪些信誉好的足球投注网站 行为分析 应用层 热点播报 行业资讯 配置 调度 监控 接入 …… …… 邮件服务 单点登录 账号服务 平台服务 运营管理 关系型/分布式 数据库查询引擎 统计分析 聚类 关联分析 …… 图表服务 分类 预测 数据获取 特征提取 快速索引 文本处理 可视处理 内容分发 DSE-能力定义 DSE应用—科学计算 科学计算任务特点： 个案性质，对计算、存储、网络等基础资源具有临时、大量、突发需求 使用平台的基础能力： 通过DSE开放的存储接口和计算接口，将科研计算任务部署运行到DSE平台上，分享平台的大规模处理能力，按需获取所需的计算资源。 DSE存储接口 图表服务 MapReduce 计算接口 自服务站点 编写MapReduce计算任务 上传数据 定制资源，启动任务 层现结果，释放资源 DSE应用-互联网信息应用 互联网信息类应用：产生或使用大量信息，如垂直有哪些信誉好的足球投注网站、新闻资讯、社交网络、音/视频应用 特点：海量数据处理需求、大规模用户请求 基于DSE的功能模块组建互联网应用，调用DSE信息服务简化应用开发 基础数据分析模块、基础信息处理模块 把应用运行在DSE平台 DSE提供Web服务集群，满足大规模用户请求 信息检索 信息层现 数据抓取 信息处理 数据分析 数据整理 互联网信息应用 互联网数据 电信运营数据 IP地址库 用户数据 流量数据 网页数据 评论数据