BI-ADHOC业务数据模型设计.pdfVIP

BI/Adhoc 业务的数据模型设计 目录 1 事实表3 1.1 事实表与大表分区3 1.2 分区表与 SQL 查询3 1.3 事实表与小表5 2 维度表6 2.1 维度表与小表6 2.2 维度表与分区表6 3 宽表7 4 聚合表8 5 实例分析9 5.1 事实表9 5.2 维度表（直接）9 5.3 维度表（层级） 10 5.4 推荐方案 11 5.5 查询示例 13 第1 页 共14页 在一个 BI/Adhoc 类 OLAP 业务中，数据的模型设计是非常重要的一点。 下面，我们就基于一个企业商品库存分析的业务，来看一看在 ADS 中如何进行 数据模型的设计。 第2 页 共14页 1 事实表 1.1 事实表与大表分区 事实表一般都比较大（行数1 亿或数据量10G），需要分表，即按行水平 切分为多个分区，即实现为分区表 • 目前，分区数一般是100 • 选定一个字段（后续将支持多个）做为一个分区列 • 每行数据的分区列的 hash 值对分区数（100）取模，决定该行 被切分到哪个分区 • 分区列推荐是 long 型，也支持 string 类型（但有限制：不支持 JOIN） • 分区列首先决定于如何查询数据，因为与 SQL 查询能力紧密相 关 • 同时，分区列的取值应该是离散的 1.2 分区表与 SQL 查询 以下是关于分区表的 SQL 查询能力。 分区表与任意维度条件过滤（WHERE） • 可以支持任意字段条件过滤 • 显然，包含 OR 操作的 WHERE 过滤表达式的性能会随条件的个 第3 页 共14页 数增加而较快降低 分区表与 JOIN • 分区表之间的 JOIN 只能基于分区列（事实表与维度表之间，或 维度表相互之间 JOIN 不受此限制） • 分区表之间 JOIN 需要分区数完全相同 • 分区列如果是 string 类型，则不支持 JOIN • 综合上述概念，Garuda 引入表组（即多个事实表按照相同切分 规则的组合） 分区表与 Group-By、Order-By 查询 • Group-By 条件包含分区列，则应该放到第一列，此时结果是精 确的且查询性能很好 • Group-By 表达式如果不包含分区列（或第一列不是分区列）， 则分组数量在范围内（5000），结果是精确的，但性能随分组数量增加 而降低 • Group-By 表达式如果不包含分区列（或第一列不是分区列）， 且分组数量不在范围内（=5000），此时结果是不精确的且性能随分组 数量增加而降低 • 如果 Group-By 表达式第一列不是按分区列，则 Having 语句不 支持 • 全局分组 TOP(N) ：Group-By 表达式包含分区列，则应该放到 第一列，同时包含 Order-By 表达式，如果分组数量在范围内（1000）， 第4 页 共14页 结果是精确的，但性能随分组数量增加而较大降低 • 全局模糊分组 TOP(N) ：Group-By 表达式第一列如果不是分区 列且包含 Order-By 表达式，而且分组数量不在范