- 1、本文档共28页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
集团06~09年的IT投资分别是30、31、45、32亿 * * 集团06~09年的IT投资分别是30、31、45、32亿 * 广州研究院 中国电信大规模数据处理需求及应用实践 中国电信广州研究院 2010-6 目录 电信面临的海量数据处理问题 云计算大规模分布式处理平台 云计算分布式技术应用实践 背景—全面数据时代 海量电信运营数据 海量互联网数据 计费数据 网页 用户账户数据 网络流量数据 安全数据 音频 图片 每用户每年产生150kB计费信息,1000万用户每年10TB,实际上往往50TB以上,在100TB左右 视频 一个地市运营商,每天产生24亿条话单记录,约1TB,一年约350TB 用户数据 ChinaNet骨干网,每天产生10TBnetflow流量 截至2009年互联网有336亿个网页,每个网页28.6KB,约1PB 海量数据时代,我们疲于收集的是蕴含信息的“财富”还是占据存储空间和处理能力的“垃圾”? 背景—电信系统vs互联网系统 计费系统 客户关系管理系统 经分系统 有哪些信誉好的足球投注网站引擎 社交网络 门户网站 互联网公司 应对措施 推出基于mapreduce的云计算技术架构,30万台服务器,为有哪些信誉好的足球投注网站等互联网应用提供海量存储和处理能力 领导Hadoop开源云计算架构,部署生产集群/科研集群,提供个性化、反垃圾邮件等服务 每天80-90TB,部署Hadoop集群,2250台机器,贡献HIVE等数据分析工具 每天500TB,部署Hadop集群,1100台机器,海量数据存储和分布式计算 基于mapreduce开发分布式处理平台,启动阿拉丁计划,有哪些信誉好的足球投注网站“暗网”信息 背景—业界主要应对措施 中国移动大云(BigCloud) 基于X86架构的大规模服务器集群+MapReduce云计算分布式技术逐渐成为业界趋势 基于并行计算的数据挖掘、机器学习方法逐渐成为主流的数据分析方法 开源Hadoop云计算架构被广泛用于构建企业大规模服务器机群,提供大规模存储和计算能力 云计算分布式技术与数据仓库技术相结合,主要用于数据分析工作,不适合于实时事务操作 构建中国电信大规模分布式处理平台,为电信应用和互联网应用提供海量数据存储和并行计算能力 目录 电信面临的海量数据处理问题 云计算大规模分布式处理平台 云计算分布式技术应用实践 分布式服务引擎(DSE) DSE定义:中国电信PaaS云计算平台,利用云计算分布式技术解决海量数据分析处理问题,并将一系列基于数据分析和信息处理的基础服务抽象成公共模块提供给用户,简化用户应用的开发周期。 能力定位:面向亿兆级数据规模的系统 功能定位:电信应用的核,互联网应用的组件 设计定位:抽象公共基础服务,简化应用开发 SOAP REST HTTP CLI 海量存储及分布式计算服务 基础能力 (数据分析、信息处理) 服务能力 (有哪些信誉好的足球投注网站、位置、分类) 基础平台服务 DSE 运营管理系统 互联网应用开发者 电信应用开发者 OSS/BSS 互联网应用 移动互联网 应用 物联网应用 科学计算 DSE-技术架构 分布式数据库 分布式文件系统 任务分解及调度 缓存服务 硬件平台 分布式平台 基础能力层 (数据分析、 信息处理) 内容分类及过滤 有哪些信誉好的足球投注网站服务 位置服务 服务能力层 (信息服务) ONS系统 EPC查询 流量分析 可视检索 餐饮有哪些信誉好的足球投注网站 行为分析 应用层 热点播报 行业资讯 配置 调度 监控 接入 …… …… 邮件服务 单点登录 账号服务 平台服务 运营管理 关系型/分布式 数据库查询引擎 统计分析 聚类 关联分析 …… 图表服务 分类 预测 数据获取 特征提取 快速索引 文本处理 可视处理 内容分发 DSE-能力定义 DSE应用—科学计算 科学计算任务特点: 个案性质,对计算、存储、网络等基础资源具有临时、大量、突发需求 使用平台的基础能力: 通过DSE开放的存储接口和计算接口,将科研计算任务部署运行到DSE平台上,分享平台的大规模处理能力,按需获取所需的计算资源。 DSE存储接口 图表服务 MapReduce 计算接口 自服务站点 编写MapReduce计算任务 上传数据 定制资源,启动任务 层现结果,释放资源 DSE应用-互联网信息应用 互联网信息类应用:产生或使用大量信息,如垂直有哪些信誉好的足球投注网站、新闻资讯、社交网络、音/视频应用 特点:海量数据处理需求、大规模用户请求 基于DSE的功能模块组建互联网应用,调用DSE信息服务简化应用开发 基础数据分析模块、基础信息处理模块 把应用运行在DSE平台 DSE提供Web服务集群,满足大规模用户请求 信息检索 信息层现 数据抓取 信息处理 数据分析 数据整理 互联网信息应用 互联网数据 电信运营数据 IP地址库 用户数据 流量数据 网页数据 评论数据
您可能关注的文档
- 第03章-数据类型.ppt
- c++语言-程序设计教程.ppt
- 1第1章平面机构的自由度和速度分析杨可桢(第五版).ppt
- 2016年高考物理一轮复习课件实验八描绘小电珠的伏安特性曲线.ppt
- 六年级语文上册《5詹天佑》.ppt
- 第五章-全站仪使用.ppt
- 第11章-图形用户界面设计hao.ppt
- 第八讲-基于ARM处理器开发过程(3课时).ppt
- 2016班会“国防教育”.ppt
- 2017北师大版八年级下生物学第7单元生命的演化第22章物种的多样性第1节-生物的分类.ppt
- 2021-2022学年人教版数学三年级上学期3.4千米的认识和使用A卷(精编.pdf
- 2021-2022年初级银行从业资格之初级风险管理能力检测试卷B卷附答案.pdf
- 2020届内蒙古赤峰市高三4月模拟考试文综历史试题(解析版) .pdf
- 2021-2022学年河南省信阳市光山县人教版四年级下册期末教学质量检测数 .pdf
- 2021-2022学年湖南省张家界市永定区九年级(上)学期中考试数学试卷(含答 .pdf
- 2021-2022学年黑龙江省哈尔滨市五常市九年级(上)期末化学试卷(附详解.pdf
- 2021-2022学年小学数学人教版五年级下册第六单元分数的加法和减法D卷.pdf
- 2021-2022学年人教版数学三年级下册第六单元测试卷B卷(新版) .pdf
- 2020春沪科版八年级物理下册 第8章 压强 第3节 空气的“力量”教案+教.pdf
- 2020年七年级数学上期末试题(带答案) .pdf
文档评论(0)