日志中心云平台日志服务技术方案.pdfVIP

日志中心云平台日志服务技术方案

一、日志中心简介

日志中心概述日志中心(CLS)旨在为云平台应用提供方便、高效的日志采集、清

洗、集中存储、检索服务，为云平台应用日志统一接入管理服务化提供一套可行

的解决方案。日志中心为租户提供以下服务：

1.日志采集服务。日志中心采集对象适用于在云平台环境中任何系统、微服

务、平台以及中间件、容器等持久化到磁盘的文本日志。

2.日志清洗服务。日志中心按照租户需求提供日志字段提取、替换等清洗能

力，为日志分析提供标准化输入。

3.日志集中存储服务。日志中心提供租户日志的集中存储管理、安全备份，

通过集中存储方便用户查询、分析日志，为用户解决日志分散、难以管理的难题。

4.日志检索服务。通过日志有哪些信誉好的足球投注网站引擎为租户提供近实时日志检索功能，方便

租户集中查看日志进行线上排查问题，解决以前查看分布式日志来回跳转主机的

痛点。

云平台微服务日志的特点

1.微服务相对于单体应用是松耦合的，在灵活性、可扩展性上要高很多，但

是管理复杂性更高，服务数量增加时分布式部署追踪问题更困难.

2.为了降低微服务的部署和运维的复杂性，多通过容器做统一化的部署流程，

采用微服务架构的系统在云平台中部署应用和服务.

3.微服务具有独立开发、独立部署、独立运行和扩展、独立团队和自治的特

点，这意味着不同服务的日志格式可能不同、团队没有统一日志标准，微服务日

志存储相对分散、主机不固定、遇到问题难以追踪.

4.为了解决微服务难以追踪的问题，所有微服务日志需要统一采集到后台日

志系统，集中存储、集中管控，方便团队进一步分析和处理问题.

二、技术实现原理日志采集实现原理

容器日志分为标准输出日志和文件日志两种，用户可进入容器查看文件日志

或使用容器的相关命令查看标准输出日志，根据容器内文件日志是否挂载到相关

存储介质实现持久化保存，日志中心将提供持久化和非持久化两种方式采集容器

内的文件日志。持久化方式采集日志:可通过挂载卷持久化到主机磁盘，目前日

志中心使用专用日志采集端采集此部分日志，日志持久化方式接入是应用和日志

中心之间通过一块存储实现日志的共享，由于容器具有隔离的特点，应用和日志

采集端是隔离的，因此应用需要通过本地挂载卷或外部卷的形式将日志分享，提

供给相应的日志采集端读取。存储一般选择本地存储、云磁盘CBS和文件存储

CFS。

图1日志持久化方式接入

非持久化方式采集日志：可支持日志投递、SDK/API等方式接入日志中心。

日志投递流程如图1.2所示,用户应用实例在程序内部直接将自身业务或应

用日志发送到日志中心前置信箱(日志队列)，投递到信箱的日志通过日志中心提

供的ETL服务存储到日志中心日志库。采用直接投递日志到日志中心的日志采

集方案需事先向日志中心提交直接投递用户申请，申请成功后将获得主题

（topic）、投递地址、投递账户。

图2日志投递流程

主题：日志中心信箱主题(topic)格式为：

logcenter_[租户名]_[分组名]

其中租户名可为云平台租户名，分组名为用户日志分组。

投递地址：信箱投递地址默认为日志队列集群地址。投递账户：信箱投递账

户为日志队列账户，账户对用户主题具有生产和消费权限。ETL：同一分组的日

志格式请尽量保持一致。

日志中心基础架构

日志中心总体架构采用了分层设计的原则，其中日志采集层负责各类日志的

采集，消息总线层是模块间日志消息的缓存，日志处理层负责日志标准化的过程，

主要包含清洗、解析、标准化（格式转换、字段映射、打标等）三项能力，存储

层为ES,接口层实现日志中心内部接口与外部接口，日志分析层为用户提供数据

源服务，不提供分析逻辑，交互层为用户和管理员页面。

图3日志中心架构图

日志采集层：依托云平台，支持持久化方式日志采集方式：包括本地存储、CBS

和CFS。提供非持久化方式日志接入，支持日志投递、SDK/API等接入方式。

提供第三方日志接入接口，支持用户自建logstash、fluentd等第三方工具支持

各类计算服务日志接入：裸机、CKE、CCS等消息总线层：消息总线层负责缓存

日志，并具有高可用、高吞吐的特点。日志处理层：支持日志清洗、日志解析、

日志标准化等支持用户自定义解析规则日志存储层：支持日志以文档形式存储，

支持日志压缩、日志归档等日志交