基于多路径探索的恶意软件逃逸检测.pdf

华中科技大学硕士学位论文

摘要

分析恶意软件时，静态分析较为高效但易受加密、加壳等混淆技术的影响，而动

态分析捕获具体执行的行为所以更具鲁棒性。但恶意软件开始使用逃逸技术获取环

境信息，并在检测为动态分析环境时执行不同的路径以阻碍动态分析。虽然已知的逃

逸技术可以明确进行应对，但是缺乏完整先验知识的逃逸技术则需要采用更通用的

应对方法,如采用不确定条件的逻辑炸弹，以及其他没有部署应对策略的和未知实现

的未支持逃逸技术。

为此，提出了一种自动探索逃逸恶意软件的方法，利用污点分析和概率计算指导

的多路径探索来高效应对逃逸技术。首先基于动态覆盖信息计算路径的执行概率，并

使用污点分析识别使用不确定条件的逃逸技术的相关分支。随后优先选择具有较低

概率的分支以及被污点信息影响的分支进行探索，而探索由强制执行直接设置所选

路径的分支结果实现。此外，利用主动反逃逸对策应对已知的逃逸技术来减少多路径

探索的开销。还提供了敏感行为的相关信息以辅助进一步的人工分析。

根据该方法实现了一个原型系统。通过在一组使用了多种逃逸技术的样本上的

实验，表明系统能够通用而高效地应对逃逸技术。其中概率计算在不需要先验知识的

情况下指导多路径探索，进而应对未支持的技术，并且在复杂的控制流上能以显著少

于线性探索的轮数应对逃逸技术。此外，污点分析能够准确地识别逻辑炸弹相关的分

支并优先进行探索。

关键词：恶意软件分析；逃逸检测；动态二进制插桩；强制执行；污点分析

I

华中科技大学硕士学位论文

Abstract

Whenanalyzingmalware,staticanalysisisefficientbutsuffersfromobfuscation,such

aspackingandencryption.Whiledynamicanalysisismorerobusttoobfuscation,

dependingoncapturingconcreteexecutioninformation.However,evasivetechniquesare

equippedbymalwaretohinderdynamicanalysis,whichtrytodetectthedynamicanalysis

environmentandbehavedifferentlyaccordingtotheresult.Whileknownevasive

techniquescanbeexplicitlydismantled,evasionswithoutfullknowledgeneedtobe

dismantledmoregenerically,suchaslogicbombsleveraginguncertainconditions,letalone

otherunsupportedevasivetechniques,whichcontainevasionswithoutcorresponding

dismantlingstrategiesandthoseleveragingunknownimplementations.

Amethodforautomaticallyexploringevasivemalwareisproposedtoeffectively

dismantleevasivetechniquesthroughmulti-pathexplorationguidedbytaintanalysisand

probabilitycalculation.First,theprobabilitiesofbranchexecutionarederivedfrom

dynamiccoverage,whiletain