packetbeat抓包监控服务质量实践.pdfVIP

packetbeat抓包监控服务质量实践 秦强强 WeChat:make_it_beter • ⼀个需求, 对某些重要服务的调⽤做全量监控, 准确 并实时的得到tp99等监控指标, 当终端出现问题时, 帮助开发第⼀时间发现, 定位, 解决问题 • 业界⼀般会⽤分布式环境下的调⽤链跟踪去做这个事 情 (将要全量监控的部分设为不透传的域来记录并取 到数据), 或者是在客户端预设埋点逻辑, 通过记录和 收集⽇志来取到数据 • 然⽽ • 这边的调⽤链跟踪体系只是刚有雏形, 距离完善还有 很⻓的路要⾛, ⼀段时间内还实现不了这个需求 • 这边除了java 以外的客户端⽬前只简单实现了服务发 现, 调⽤服务的⽅式都还是短连接调⽤, ⽽且各部⻔ 的主要精⼒在⼀段时间内会集中在业务开发上 • 填坑需要时间 • 服务层的数据协议是固定的(这边是finagle-thrift), 能 否通过抓取服务层⽹络流量来拿到数据,作为过渡期 解决⽅案? packetbeat 简介 • 开源的⽹络抓包与分析框架, elastic旗下beats项⽬成 员 • 简单, ⾼效, 流⾏ • https://www.elastic.co/products/beats/packetbeat • packetbeat典型使⽤场景: 以某⼀层为维度, 获取该 层的交互数据. ⽐如在redis节点上抓取redis层次的交 互数据, 得到都是那些机器在请求redis, 它们都在⽤ 什么样的redis命令, 以及这些请求的结果和响应时延 是怎样的 packetbeat⽅案的好处 • 各语⾔客户端⽆开发量 • 被动收集, 完全⽆侵⼊ • 中⼼化, 线上服务⽆需打包更新, 没推⼴问题 packetbeat ⼯作流程 抓包 解析 聚合 输出 Parse(协议数据) 解析协议数据, 根据交互信 息产出聚合数据 PublishTransaction(聚合数据) 为packetbeat添加新协议(finagle-thrift)⽀持 • 参考其他协议的实现, 这边主要参考了thrift协议的实 现 • 结合wireshark抓包和协议定义来分析数据包 • 扩展采⽤项⽬嵌套结构, 不依赖具体某个beats版本 • 更多扩展开发的资料可以参考⽂章: http:// /item/2015/12/packetbeat-zi-ding-yi- xie-yi-di-kai-fa-jiao-cheng/ http:// siye1982.github.io/2016/04/30/packetbeat/ • 另⼀个问题, 通过packetbeat可以知道⼀次交互两端 的ip和端⼝, 但如何知道⼀个tcp连接两端都是什么应 ⽤? • packetbeat⾃带的procs模块可以定期去扫描进程信 息来得到端⼝和程序的映射, 但对短连接⽀持⽆⼒, ⽽且可能会有性能问题 sysdig 简介 • 开源的系统运⾏信息和⽹络流监控软件 • 通过监听内核事件来得到系统运⾏细节 • / 通过sysdig命令⾏可以得到连接事件的事件时间, 程序pid, 程序⽬录等信息 服务提供端端⼝与程序信息的映射是固定的,服务消费端部 署路径与程序信息的映射也可以是固定的 • 由于每个服务都对外暴露不同的端⼝, 所以根据请求 的服务端⼝, 就可以确定是调⽤了那个服务 • 将sysdig管道嵌⼊packetbeat, 可以得到连接创建和 关闭事件, 以及发起事件所对应的程序信息, 同时 packetbeat可以得到本地连接的端⼝和事件时间, 根 据这些信息可以得到这个端⼝属于那个本地应⽤ • 但