基于大数据的网络安全分析.docx

主动智主动智基于大数据的网络安全分析作者：蓝盾研发中心-刘峰今年接手SOC产品研发，产品经理一直强调核心是事件关联分析，数据大集中后挖掘各种安全隐患，实时性关联分析以及识别或预防各种未知的攻击是技术难点。了解了一下，SOC已进入3.0时代，随着大数据技术的成熟，各个竞争对手都引入大数据平台解决先前无法解决的各种技术问题，比如大数据量存储、实时在线分析，以及各种机器挖掘技术，虽然有技术难度，但比较好的是大数据技术最近才成熟流行起来，大型的互联网公司和运营商虽然已掌握，但大部分公司和产品还未采用或者正在研发，大家基本上都在同一个起跑线上，由于大数据必须与业务紧密结合才能发挥价值，对我们来说是一个机会，正好赶上。当前的挑战当前网络与信息安全领域，正面临着全新的挑战。一方面，伴随大数据和云计算时代的到来，安全问题正在变成一个大数据问题，企业和组织的网络及信息系统每天都在产生大量的安全数据，并且产生的速度越来越快。另一方面，国家、企业和组织所面对的网络空间安全形势严峻，需要应对的攻击和威胁变得日益复杂，这些威胁具有隐蔽性强、潜伏期长、持续性强的特点。面对这些新挑战，现有安全管理平台的局限性显露无遗，主要体现在以下三个方面数据处理能力有限，缺乏有效的架构支撑：当前分析工具在小数据量时有效，在大数据量时难以为继，海量异构高维数据的融合、存储和管理遇到困难；安全设备和网络应用产生的安全事件数量巨大，IDS误报严重，一台IDS系统，一天产生的安全事件数量成千上万，通常99%的安全事件属于误报，而少量真正存在威胁的安全事件淹没在误报信息中，难以识别；威胁识别能力有限，缺乏安全智能：安全分析以基于规则的关联分析为主，只能识别已知并且已描述的攻击，难以识别复杂的攻击，无法识别未知的攻击；安全事件之间存在横向和纵向方面（如不同空间来源、时间序列等）的关系未能得到综合分析，因此漏报严重，不能实时预测。一个攻击活动之后常常接着另外一个攻击活动，前一个攻击活动为后者提供基本条件；一个攻击活动在多个安全设备上产生了安全事件；多个不同来源的安全事件其实是一种协作攻击，这些都缺乏有效的综合分析安全预判能力有限，缺乏对抗能力：安全运营以被动应急响应为主，难以对风险进行提前的评估与研判，总是疲于救火。SOC3.0时代来临SOC3.0以大数据分析架构为支撑，以业务安全为导向，构建起以数据为核心的安全管理体系，强调更加主动、智能地对企业和组织的网络安全进行管理和运营。在DT时代， SOC3.0的核心要素是：业务、主动、智能、大数据。业务?用户的业务系统是安全的终极保障对象，以业务为核心的安全就是要从业务四要素（支撑环境、流程、数据和人）出发去保障业务安全，并通过建立指标体系来度量安全效果。主动?强调构建主动的安全机制，进行前摄性的安全防御，包括集成漏洞管理、配置核查，并引入外部威胁情报，进行积极的安全预警和主动运维。智能?强调建立起智能化的安全分析能力，既要保留现有基于规则的关联分析，也要利用更加丰富的情境数据（漏洞、情报、身份、资产等信息）进行情境关联，更要借助诸如行为分析、机器学习、数据挖据等技术来做到知所未知。大数据?大数据时代的安全管理必然是数据驱动的，必须以大数据架构为支撑，基于大数据技术重新构建信息采集、数据融合、事件存储、高级安全分析、态势感知和可视化等安全管理能力。事件关联分析场景介绍对于每套系统管理都有它的安全防护措施，只不过是安全孤岛，但是万物之间必然有它的联系，将这些日志联系到一起分析，就是关联分析，这里关联的好坏就决定于他的关联库、关联规则和知识库。场景一针对一个典型的网络构成如下图，介绍基本的关联分析过程：路由器记录所有数据包通过的信息防火墙根据指定的策略记录下所有允许和丢弃的数据包访问信息IDS对所有数据检测后，记录可疑数据包的告警信息应用服务器记录对各种服务的访问信息以及进行的文件操作场景二对于WEB漏洞发起的攻击包检测，通常经历下面几步：IDS检查到对目标WEB服务器的漏洞攻击包检查路由器日志，触发告警的包是否通过路由器分析防火墙日志，过滤器是否拦截攻击包检查服务器文件完整性，运行Tripwire检查文件完整性，查看文件权限是否修改分析syslog输出或服务器事件日志，检查攻击是否真正发生通过上述分析，基本确定一个攻击事件是否发生，需要通过分析许多相关设备日志信息，同时能够追溯到攻击源，从全局来观察攻击事件的开始、发展、结束过程以及是否造成危害场景三比如在VPN服务器日志显示张三3:00钟，从外面登陆到内部网在3:05分登陆FTP服务器，并在FTP服务器上下载了某个文件在门禁系统的日志显示张三在不久前刚刚进入办公区域这三个日志可以关了出一个安全事件场景四某公司核心数据库前端部署了防火墙系统，某日安全系统监测发现张三登陆了MySQL 数据库服