容器监控数据采集.pdf

Docker容器监控数据采集的探究与思考 by 王亚普 ⾃我介绍 美团点评上海基础架构部 2015年加⼊原⼤众点评 先后参与点评私有云、分布式监控系统Cat、Slb软负载的研发⼯作 开源技术、⾼性能组件、⾼效开发⼯具的狂热爱好者 聊点什么 A B C 设计⽬标 踩过的坑 容器监控 点评私有云设计⽅案 ⽤户使⽤场景、⾏为习惯 基于Lxcfs容器物理指 公司组件的⽣态圈 推进过程中⼀些头疼的事 标的计算⽅法 ⽬前的解决⽅案与不⾜ 扩展与思考 设计⽬标 让⽤户⽆感知从Kvm切换到Docker的过程 把容器做的更像KVM ⽆缝对接公司的内部组件 ⾼密度部署、快速扩容 标准化应⽤运⾏环境 为什么要做的像KVM？ 考虑到公司组件的对接 运维成本适中 开发⼈员⽆需编写dockerfile，配置各种不同的启动⽅式 点 评 私 有 云 ⽣ 态 圈 推进落地过程中踩过的坑 Why？How to Solve？ 第⼀反应会是这是docker造成 的，但并⾮完全正确。准确的 说，这些问题是由于docker的 隔离性不⾜导致的。 ⼤动⼲⼽之后继续推进 经过灰度测试后，对现有机器通过打补丁的⽅式升级、重启。 后续新申请的机器都安装必威体育精装版的内核。 联调后 ⽬前解决⽅案的弊端 为了在容器内准确查看linux的各项指标，就需要⼤动⼲⼽修改linux code，万⼀出现bug怎么办？这不是⼀个可以被⼴泛接受的⽅案。 如果现在需要升级⼀个新的linux稳定版，⼜需要打上修改的补丁，重启物 理机，这个⼯作量真是吃⼒不讨好。 如果再抛出⼀个未考虑到的问题，是⾮常令⼈崩溃的。 没有专⻔维护Linux内核的团队。 梳理问题的共同点 依赖于⼀些系统⽂件，⽽容器内的⽂件内容继承于宿主机。 Info related file cpu /proc/cpuinfo mem /proc/meminfo uptime /proc/uptime load /proc/loadavg cpu-online /sys/devices/system/cpu/online 业界调研 修改linux系统通⽤软件包procps，以达到替换原有top 、memory等命令。 并不允许开发或者运维登陆容器，⾃⼰研发⼀套容器的监控系统。 使⽤lxcfs组件（蘑菇街、腾讯游戏） What is Lxcfs? FUSE filesystem for LXC, offering the following features: a cgroupfs compatible view for unprivileged containers a set of cgroup-aware files: cpuinfo meminfo stat up