有哪些信誉好的足球投注网站- 1、本文档共27页，可阅读全部内容。
- 2、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
HBase在有哪些信誉好的足球投注网站网页库上的应用
赵健博
QIHU 360 系统部
内容梗概
• Why HBase
• 集群规模不版本
• 问题不改进
• Future Work
• 运维不监控
内容梗概
• Why Hbase
• 集群规模不版本
• 问题不改进
• Future Work
• 运维不监控
Why HBase
• 数据规模巨大
– 记录数 ：千亿级别
– 数据量 ：PB级别
• 网页多个版本支持
• 高可扩展、高可靠
• M/R支持
Why HBase
• 更新需求
– 海量数据导入 （TB级别）
– 灵活地增加不修改属性
Why HBase
• 扫描 ，查询需求：
– 按列读取
– 按站点扫描
– 批量读取
– 时间范围查询
内容梗概
• Why Hbase
• 集群规模不版本
• 问题不改进
• Future Work
• 运维不监控
HBase集群规模
• 机器规模
– HBase ：300节点
• region个数 10万
• 平台版本：
– HBase版本：facebook 0.89-fb
– HDFS版本： facebook hadoop-20
内容梗概
• Why Hbase
• 集群规模不版本
• 问题不改进
• Future Work
• 运维不监控
问题不改进
• 数据导入方面（4 ）
• Compaction方面（3 ）
• Split方面（3 ）
• 异常恢复（1 ）
问题不改进
• 问题一：
– 调用Put接口写入数据，写入性能丌高效。
• 原因：
– 写路径上commitlog的写不sync过程持锁进行IO操
作，阻塞并发写线程，丌够高效
– Compaction不写commitlog 占用额外的磁盘不网
络资源
• 改进：
– 采用bulkImport方式导入数据，效率极大提升
问题不改进
• 问题二：
– bulkImport的数据准备阶段对输入文件格式的处理
丌够通用
• 原因：
– bulkImport的数据准备阶段程序对输入文件格式所
有限制，丌能够满足我们需求
• 改进：
– 提供了通用的数据格式解析框架，适配各种输入
格式
文档评论（0）