Elasticsearch索引的架构设计.docxVIP

PAGE PAGE 10 Elasticsearch Elasticsearch 索引的架构设计 目录 、Elasticsearch 索引的设计 3 注意 1 ：不要在一个索引中定义多个 type 。 6 注意 2 ：将 Set _source 设置为 false 。 6 注意 3 ：将 _all 设置为 false 。 7 注意 4 ：设置 dynamic = strict 。 7 注意 5 ：使用 keyword 类型 8 注意 6 ：使用别名 9 、Elasticsearch 分片分配原则 10 步骤 1 ：定义索引 11 步骤 2 ：评估数据量 11 步骤 3 ：评估索引大小和磁盘空间 12 步骤 4 ：计算分片数 12 步骤 5 ：评估索引数和类型 12 、数据去重的思考 12 、 Elasticsearch 索引的设计 单一索引还是基于时间的索引？ 单一索引的问题： ）不能更新 Mapping 。 比如：主分片数不可以修改（除非 reindex ）。 ）无法灵活、快速地扩展。 ）更适合固定、小型数据集。 基于时间的索引面临的问题： ）如何确定间隔？ 数 据 量 变更频率 默认尝试每周为单位分割——建议 ）如何实施？ 索引模板 定义索引注意事项 举例： { facet_internet_access_minute:{ template:ce-index-access-v1-*, order:0, settings:{ number_of_shards:5 }, aliases:{ {index}-query:{ } }, mappings:{ es_doc:{ dynamic:strict, _all:{ enabled:false }, _source:{ enabled:false }, properties:{ CLF_Timestamp:{ type:long }, CLF_CustomerID:{ type:keyword }, CLF_ClientIP:{ type:ip, ignore_malformed:true } } } } } } 注意 1 ：不要在一个索引中定义多个 type 。 6.X 版本已经不支持， 7.X 版本彻底不支持。 扩展问题： 5.X 版本的父子文档实际实现中是一个索引中定义了多个 type ，到了 6.X 中实现方式改变为： join 方式。 注意 2 ：将 Set _source 设置为 false 。 假设你只关心度量结果，不是原始文件内容。 将节省磁盘空间并减少 IO 。 这个点，需要结合实际的业务场景具体问题具体分析。 举例： _source:{ enabled:false }, 注意 3 ：将 _all 设置为 false 。 假设你确切地知道你对哪个 field 做查询操作？ 能实现性能提升，缩减存储。 举例： _all:{ enabled:false }, 注意 4 ：设置 dynamic = strict 。 假设你的数据是结构化数据。 字段设置严格，避免脏数据注入。 举例： dynamic:strict, 注意 5 ：使用 keyword 类型 假设你只关心完全匹配 提高性能和缩小磁盘存储空间 举例： CLF_CustomerID:{ type:keyword }, 注意 6 ：使用别名 如何在不停机的前提从一个索引切换到另一个索引？ 举例： aliases:{ {index}-query:{ } 或者你通过 head 插件创建。 2 、 Elasticsearch 分片分配原则 社区和 QQ 群中经常被问到的问题： ）应该分几个索引、几个分片？ ）每个分片大小如何设置？ ）副本多少如何设置？ 这里，明确给出实操可行的 6 个步骤。 步骤 1 ：定义索引 思考索引中要大致有哪些字段？ 最好能列一个 Excel 表统计一下，包含但不限于： 序号、名称、类型、作用、备注。 以上对计算单条数据大小也有用。 步骤 2 ：评估数据量 评估方法举例： 1 分钟有 100 条数据， 1 天=1006024=144000 条。 1 月=144000 条 30 天 =432W 条数据。 1 年=432W12=5184W 条数据。 假设要保存 2 年，共 =10368W 条数据。 假设每条数据 20KB ，共需要存储： 10368W*20/1024/1024/1024=1.977TB 。 步骤 3 ：评估索引大小和磁盘空间 步骤 4 ：计算分片数 细节考虑点： 、每个分片大小应小于 30GB 。 、分片数量 = k * 数据节点数目（ k = 一个足够小的整数，举例： 1,2,3 ） 、假设你有一个小的索引，并且你有集群中有足够的节点，请尝试使用默认值分片数 5