360大数据平台课件.ppt

360大数据平台介绍 唐会军 360大数据规模能力 大数据服务器规模超过30000台 总存储数据量接近1EB，每天新增超过1PB 每天各种数据计算任务10万个，每天处理数据量10PB 具备一分钟内调动几十万颗CPU核参与计算能力 具备一秒钟处理1TB数据能力 360大数据技术路线 利用最廉价的PC服务器+开源/自主开发软件构建而成 数据的可靠性，扩展性全部自主可控，成本不到IOE方案的1/100 360大数据业务(有哪些信誉好的足球投注网站 广告 杀毒 语音\图像识别…) 360大数据架构图 产品 计算 存储 机器学习平台 实时计算平台 M/R计算平台 文件存储平台 表格存储平台 对象存储平台 有哪些信誉好的足球投注网站 安全 广告 语音 图像 底层 云主机 内核 硬件 流式计算平台 块存储平台 HBase平台（HDFS, M/R） 运行全球最大的HBase集群之一（3K节点） 存储记录总条数达到100万亿条 增加索引引擎，满足关系型数据库查询需求 增加有哪些信誉好的足球投注网站引擎，对存入平台的所有数据支持字符检索 Cassandra平台 Cassandra集群总规模全球第一（超过10K节点） 增加数据备份，数据冗余EC方案，索引等一系列功能 修复BUG无数，稳定性经受住线上7*24小时，一年365天无服务中断考验 机器学习平台Euler 应用 计算 存储 MPI通信框架 分布式向量 作业管理任务调度 分类 分布式矩阵 计算框架 聚类 回归 … Euler平台算法库 聚类 k-means 凝聚层次聚类 minhash Disjoint-Set Query Clustering 分类 随机森林 GBDT LLGC 朴素贝叶斯 主题模型 plsa Lda 协同过滤 User-based Item-based 回归 逻辑回归 机器翻译 SMT EMBT 其它 PageRank：网页排序 ALS：矩阵分解 Hadoop平台（HDFS, M/R） 360内部分支版本（从2010年开始） 单集群规模5K个节点，年底到10K节点 增加了权限管理，性能优化一系列改进 大数据分析平台—云图 语音识别 7人小团队一年时间在有哪些信誉好的足球投注网站语音识别领域超过讯飞 利用公司海量数据优势和海量数据挖掘经验 谢 谢 ！ 内容总结 360大数据平台介绍。每天各种数据计算任务10万个，每天处理数据量10PB。数据的可靠性，扩展性全部自主可控，成本不到IOE方案的1/100。360大数据业务(有哪些信誉好的足球投注网站 广告 杀毒 语音\图像识别。修复BUG无数，稳定性经受住线上7*24小时，一年365天无服务中断考验。单集群规模5K个节点，年底到10K节点。谢 谢