正常域名恶意软件生成域名.PDFVIP

大数据挑战项目一：DNS 异常检测 随着互联网技术的飞速发展，互联网安全问题变得越来越突出。域名系统 （Domain Name System, DNS）作为互联网最为关键的系统之一，实现了域名与IP 地 址之间的相互映射，是各个信息系统协调与合作的 “中枢神经”。由于域名协议本身 安全运行机制并不健全，大量的僵尸网络、恶意病毒软件和隐蔽通道等利用域名协议 进行通信和远程控制操作。通过分析发现，许多移动通信终端、PC 机和服务器被植入 了木马病毒后会包含大量恶意域名连接。因此，在众多关于互联网的信息安全问题中， 针对恶意域名的检测显得尤为重要。 目前互联网中较为常见的利用DNS 产生恶意域名的异常行为是DGA 域名和DNS 隐蔽 通道。 1、DGA （域名生成算法）利用随机字符来生成CC 域名，且通过周期性地生成大量 域名来逃避域名黑名单检测以实现对网络的破坏行为。事实上，正常的域名与恶意软 件生成的域名在语义和可读性上均存在较大差异，如下表所示。 正常域名 恶意软件生成域名 2、DNS 隐蔽通道是基于隐蔽通道模型的相关原理，利用目前 DNS 系统本身的开放 性和易受攻击性，通过构建的隐蔽通道来传输机密数据和命令，从而绕过防火墙对网 络数据安全造成破坏。例如，在著名的xshell 后门事件中，黑客在xshell 中植入恶 意代码，通过DNS 隐蔽通道将用户敏感数据藏在 子域名中，然 后将数据外发。相关数据格式如下所示。 赛题任务 控制恶意活动的关键在于检测速度和准确性，然而传统的DNS 异常检测技术存在诸 多局限。人工智能技术的发展给 DNS 异常行为检测提供了一种新的途径。根据相关黑 白域名数据集，可利用人工智能技术实现更快更精确的DNS 异常检测： 1、有监督的DNS 异常检测方法。该方法使用黑白样本集，通过有监督学习方法建 立检测模型，实现对正常和不正常域名的二分类检测，主要实现对 DGA 域名或者 DNS 隐蔽通道的检测。通过有监督的学习方法，能够识别已知黑样本特征集的异常域名。 2、半监督的DNS 异常检测方法。该方法使用白样本集，通过半监督学习方法建立 异常检测模型，实现对正常和不正常域名的二分类检测，主要实现对DGA 域名或者DNS 隐蔽通道的检测。通过半监督的学习方法，能够识别未知黑样本特征集的异常域名。 测评方法 1、模型评价数据来源 针对两个赛题任务，采用下面的训练数据，进入决赛后，组委会将提供新的数据 作为决赛现场测试数据。 （1）DNS 隐蔽隧道检测数据集来源 链接：/s/1Qe3paBvUs3y80dWV7vIY6w 提取码：azxa 数据内容包括源 IP 地址、目的 IP 地址、源端口号、目的端口号、域名内容、DNS 数据包数、DNS 数据包大小等。 （2）DGA 检测数据集来源 /dga/ 链接：/s/1s3l21LVM1Db7ZdH0RZk7Bw 提取码：0wxs 数据内容包括域名内容等。 （3）正常域名来源 链接：/s/1EtK37aEfUMLIIQe6tGVx_A 提取码：4v3i 数据内容包括源 IP 地址、目的 IP 地址、源端口号、目的端口号、域名内容、DNS 数据包数、DNS 数据包大小等。 2、模型评价指标方法 （1）预测时间：在给定相同测试数据集的情况下，计算模型从开始到预测结束所 花费的时间。期望预测时间越短越好。 （2）AUC：AUC 的全称是Area under the Curve of ROC，也就是ROC 曲线下方的 面积。在机器学习领域，经常用AUC 值来评价一个二分类模型的训练效果。 在机器学习理论中，可用ROC 曲线来分析二元分类模型。在二分类问题中，数据的 标签通常用（0/1）来表示，在模型训练完成后进行测试时，会对测试集的每个样本计 算一个介于 0~1 之间的概率，表征模型认为该样本为阳性的概率。我们可以选定一个 阈值，将模型计算出的概率进行二值化，比如选定阈值等于0.5，那么当模型输出的值 大于等于0.5 时，我们就认为模型将该样本预测为阳性，也就是标签为1，反之亦然。 选定的阈值不同，模型预测的结果也会相应地改变。二元分类模型的单个样本