基于鲁棒解析和BERT集成的日志异常检测系统.pdf

华中科技大学硕士学位论文

摘要

基于日志的异常检测可以学习日志事件序列中的正常模式，进而检测出日志数

据中的异常信息。但是，现有的日志异常检测系统采用基于启发性规则的日志解析器

和诸如Word2Vec等传统词嵌入技术，存在日志解析准确率偏低、无法充分利用日志

事件模板潜在语义信息以及缺乏应对日志数据噪音措施等问题。

针对上述问题，提出了一种基于鲁棒解析和BERT集成的异常检测系统BertLog。

当日志解析出现错误时，该系统通过鲁棒解析中的匹配链结构匹配正确的解析结果

并去除日志解析器中的错误事件模板信息。相比于Word2Vec和fasttext等传统词嵌

入技术，该系统提出的BERT集成技术充分考虑了位置、段落等信息，可以为不同上

下文环境的事件模板提供灵活的语义表示。针对数据集中存在的噪音数据，BERT集

成技术将日志块的篇章结构信息融入事件模板的语义向量中，提高了系统对于日志

数据中不稳定事件和不稳定序列的鲁棒性。

实验结果显示，在不含有噪音的HDFS和BGL数据集上，BertLog的F1值分别

可达0.984和0.946，其综合表现优于DeepLog、LogAnomaly、LogRobust以及PLELog。

在含有噪音的HDFS和BGL日志数据集上，BertLog在大多数场景下都取得了最高

的F1值，并且能够在注入率逐渐增加的情况下维持较高的准确率。

关键词：异常检测；深度学习；日志解析；词嵌入；BERT

I

华中科技大学硕士学位论文

Abstract

Log-basedanomalydetectioncanlearnnormalpatternsinlogeventsequences,and

detectanomalousinformationinlogdata.However,theexistingloganomalydetection

systemusesalogparserbasedonheuristicrulesandtraditionalwordembedding

technologiessuchasWord2Vec,whichhaslowlogparsingaccuracy,cannotfullyutilize

thepotentialsemanticinformationoflogeventtemplatesandlackstheabilitytodealwith

logdatanoise.

Toaddresstheaboveproblems,ananomalydetectionsystembasedonrobustparsing

andBERTaggregationnamedBertLogisproposed.Whenanerroroccursinthelogparsing,

thesystemmatchesthecorrectparsingresultthroughthefuzzchainstructureintherobust

parsingandremovestheerroreventtemplateinformationinthelogparser.Comparedwith

traditionalwordembeddingtechnologiessuchasWord2Vecandfasttext,theBERT

aggregationtechnologyproposedbythesystemfullyconsidersinformationsuchaslocation

andparagraphwhichcanprovideflexiblesemanticrepresentatio