AS深圳2018-《Pallas--唯品会统一检索平台的演进和探索》-薛珂.pdf

Pallas ： 唯品会统一检索平台的演进和探索 薛珂 唯品会.基础架构部 薛珂 高级架构师 • 互联网技术爱好者 ，曾参与主导多个大型互 联网产品的整体架构 ； • 2016加入唯品会 ，现任基础架构服务化团队 负责人 ；主持唯品会服务化平台的建设(微服 务/检索平台/调度服务/函数服务/ 网关/配置 中心/授权服务等 ）; • 技术兴趣集中在分布式设计 ，高可用架构 ， 任务调度 ，有哪些信誉好的足球投注网站引擎 ，优雅设计 ，高性能服 务等领域 ； 关于检索 Lucene Solr Elastic Search 5 Case1.商品有哪些信誉好的足球投注网站 文本分词检索 ，相似性算分 打分和重排逻辑复杂 ，更新频率 非常高 特征 ：文本有哪些信誉好的足球投注网站 ，打分 Case2.运营后台 10亿数据的表 每月增长1亿 多关键字复合查询 查询结果聚合统计 Mysql数据库一次查询 2分钟 特征 ：SQL慢查询 Case3.订单有哪些信誉好的足球投注网站 数十亿数据 分表分库 ，128个库 按商品名/品牌名/订单号有哪些信誉好的足球投注网站 特征 ：分表分库检索 Case4.财务系统报表 百亿级数据表 多维度查询及聚合 对响应时间有要求(秒级) 特征 ：大数据量,聚合 关于平台 Pallas的成长之旅 选型的思考 – Why ElasticSearch 社区活跃程度 代码质量 赏心悦 目 架构合理性 简洁 ，主流(Gossip/Pacific-A/Primary-backup) ，无额外服务依赖 可扩展性 插件机制完备 基础功能完整性 强大的DSL支持 ，高可靠 ，分布式 ，弹性高可用 文档质量 准确 ，完备 ，更新及时 如何管理我的ES集群 ？ Cerebro Rest API Kibana 统一 Bigdesk 鉴权 Sense • 太原始 • 偏数据处理 • 使用成本高 • 管理功能不强 Pallas集群管理 • 权限问题 • License问题 Pallas集群管理-Cerebro Pallas集群管理-Bigdesk Pallas集群管理-Sense 规范化查询的思考 DSL很强大 ，也很复杂 生产中复杂DSL可达上千行 几乎不可读 无法debug 性能问题