奇虎360hbase二级索引的设计与实践-huihoo.ppt

二级索引方案比较 奇虎360 华为 单列，多列联合索引 YES YES 多列之前与或查询 YES YES 索引动态修改 YES NO？ 索引重建 YES NO？ 模糊查询 YES NO 汇聚操作 YES NO 单独索引表 NO YES Region分配策略修改 NO YES 数据与索引一致性问题 NO YES 多范围与操作优化 YES NO Page * 内容梗概 需求 设计 实践 Page * 实践 表设计 单列索引 单列与时间的联合索引 多列组合索引 查询表达式优化 (A | B) (C | D) ? (AC) | (AD) | (BC) | (BD) Page * 单并发写入性能 Page * 检索性能数据 CASE1 CASE2 列与索引列 19列 + 17个索引 10列 + 10个索引 数据规模 5000亿行（18万亿KV） 4000亿行（8万亿KV） 容量 500+TB 200+TB 高频查询 单列定值 (A|B) (C|D) 单列定值 查询时延 平均5.5s 平均6s 返回条目数 5000 3000+ 查询次数 70000+ 2400+ Page * 70台机器 {CPU：2路6核，内存：64GB，4*12TB磁盘} Thanks! 回顾 原理 使用 应用 是什么？ 介绍一下hbase概念，特性，和传统数据库的比较 应用场景？ 能做什么？在公司内部的应用情况（有哪些信誉好的足球投注网站类，快照／收藏家类，监控／指数类等等） 如何使用？ 介绍访问方式？Java原生操作接口，get／scan／put／bulkLoad 跨语言访问。Php／C／python 建表需要考虑的因素。 如何转换传统数据的查询需求。 基本原理？ hbase读写路径，架构 问题诊断？ 使用这遇到的简单问题分析 * 回顾 原理 使用 应用 是什么？ 介绍一下hbase概念，特性，和传统数据库的比较 应用场景？ 能做什么？在公司内部的应用情况（有哪些信誉好的足球投注网站类，快照／收藏家类，监控／指数类等等） 如何使用？ 介绍访问方式？Java原生操作接口，get／scan／put／bulkLoad 跨语言访问。Php／C／python 建表需要考虑的因素。 如何转换传统数据的查询需求。 基本原理？ hbase读写路径，架构 问题诊断？ 使用这遇到的简单问题分析 * 回顾 原理 使用 应用 是什么？ 介绍一下hbase概念，特性，和传统数据库的比较 应用场景？ 能做什么？在公司内部的应用情况（有哪些信誉好的足球投注网站类，快照／收藏家类，监控／指数类等等） 如何使用？ 介绍访问方式？Java原生操作接口，get／scan／put／bulkLoad 跨语言访问。Php／C／python 建表需要考虑的因素。 如何转换传统数据的查询需求。 基本原理？ hbase读写路径，架构 问题诊断？ 使用这遇到的简单问题分析 * 回顾 原理 使用 应用 是什么？ 介绍一下hbase概念，特性，和传统数据库的比较 应用场景？ 能做什么？在公司内部的应用情况（有哪些信誉好的足球投注网站类，快照／收藏家类，监控／指数类等等） 如何使用？ 介绍访问方式？Java原生操作接口，get／scan／put／bulkLoad 跨语言访问。Php／C／python 建表需要考虑的因素。 如何转换传统数据的查询需求。 基本原理？ hbase读写路径，架构 问题诊断？ 使用这遇到的简单问题分析 * 回顾 原理 使用 应用 是什么？ 介绍一下hbase概念，特性，和传统数据库的比较 应用场景？ 能做什么？在公司内部的应用情况（有哪些信誉好的足球投注网站类，快照／收藏家类，监控／指数类等等） 如何使用？ 介绍访问方式？Java原生操作接口，get／scan／put／bulkLoad 跨语言访问。Php／C／python 建表需要考虑的因素。 如何转换传统数据的查询需求。 基本原理？ hbase读写路径，架构 问题诊断？ 使用这遇到的简单问题分析 * Page * 奇虎360 HBASE二级索引的设计与实践 赵健博 系统部 2015/4/24 内容梗概 背景 设计 实践 Page * 背景 仅基于RK的索引问题： 索引单一 多维度（字段/列）查询困难 多字段分别作为RK，写入多次 组合字段作为RK，设计复杂，不灵活 不经过索引的并行scan过滤，大量资源消耗，无实效性可言 多维度实时查询需求强烈： 基于DNS 的网络行为特征分析 基于病毒样本的网络行为特征分析 Page * 背景 通用模式： 将数据结构化存储（海量的数据，千亿级别） 对多个列或者多列之间建立索引 指定条件： 单列等值、范围 多列之间与、或 获取结果： 满足条