利用基于hadoop的入侵检测系统x.docxVIP

利用hadoop搭建基于数据挖掘的入侵检测系统——卞谦、徐大丁、凌杰、吴俊峰关于hadoop简述hadoopHadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop核心包括两大部分，map/reduce和HDFS,Map/Reduce是Google MapReduce的开源实现，Map的思想是将问题分解为若干小的问题，实现多个主机并行处理任务，Reduce的思想是将并行处理后的数据规约，形成最终结果。其模型如图所示：MapReduce 的根源是函数性编程中的 map 和 reduce 函数。它由两个可能包含有许多实例（许多 Map 和 Reduce）的操作组成。Map 函数接受一组数据并将其转换为一个键/值对列表，输入域中的每个元素对应一个键/值对。Reduce 函数接受 Map 函数生成的列表，然后根据它们的键（为每个键生成一个键/值对）缩小键/值对列表HDFS是google GFS的开源版本，主要实现文件的分布式存储，其模型如下：其角色主要包括NameNode和DataNode。NameNode 是一个通常在 HDFS 实例中的单独机器上运行的软件。它负责管理文件系统名称空间和控制外部客户机的访问。存储所有关于文件系统名称空间的信息和日志信息。DataNode作用为响应来自 HDFS 客户机的读写请求。它们还响应创建、删除和复制来自 NameNode 的块的命令。并与NameNode通过心跳包来维持联系。现有入侵检测系统优缺点分析目前主流的入侵检测系统结构主要如下从上图可以看出审计信息是IDS的工作基础，Audit Data数据内容通常很庞大，难以从中挖掘有用的信息，哪些数据时有用的信息这是审计需要考虑的内容，良好的审计系统通常需要操作系统的支持。IDS的实时性需要建立在良好全面的规则上，目前IDS领域广泛研究机器学习，机器学习依然需要强大的入侵特征数据库。往往单一的IDS的入侵检测系统的入侵特征数据库内容都不是很全面具有滞后性，面对新型大规模的网络入侵或者病毒感染无法起到及时的防御作用。基于hadoop的数据挖掘入侵检测模型终端agent终端agent终端agent…………………通过将互联网上的多个入侵检测系统联系起来，通过核心集群交换信息从而来达到整个集群信息共享。这里的核心集群即为本文后面讲的云，利用云强大的存储和信息处理能力来对各个区域集群信息进行处理，然后分发，这样不仅使信息得以共享，而且大大减轻了Agent的压力，防御的效率得到提高。模型特点：基于代理的数据挖掘的入侵特征提取传统模式匹配方法仅适用于检测已知的攻击,而不能用于检测未知的攻击;概率统计方法虽然根据agent对象的动作为每个用户都建立一个agent特征表,通过比较当前特征与已存储定型的以前特征,从而判断是否是异常行为,并具有一定的预测特性,但是在如何选择系统特征时要使用直觉和经验,因而仍具有一定的局限性。而基于数据挖掘的入侵检测技术,它利用形式语言、数据挖掘技术的方法和理论,对从网络中和主机系统中采集到的数据、安全日志和审计信息进行分析和过滤,从“正常”的数据中发现“正常”的用户和程序的使用模式,利用这些模式来检测网络上的入侵行为,从而提高系统对用户异常行为的识别能力和未知模式攻击的检测能力。它涉及到的主要技术包括:ó 数据泛化与聚类技术;ó 分类函数或分类模型(也称作分类器) 的生成技术;ó 关联规则发现与合并技术;ó 序列模式发现技术通过代理的自我评估之后，将异常数据交给区域服务器做进一步分析和处理，形成一个大的知识库2、基于协同的网络分析手段随着黑客入侵手段的提高,尤其是分布式、协同式、复杂模式攻击的出现和发展,传统的单一的、缺乏协作的入侵检测技术已经不能满足需求,需要有充分的协作机制。所谓协作主要包括事件检测、分析和响应能力的协同以及各部分所掌握安全相关信息的共享等两个方面。尽管现在最好的商业产品和研究项目中也只有简单的协作,如ISS 的RealSecure入侵检测产品可以和防火墙协作,在AAFID 中同一网段上各主机型代理之间可进行简单的信息共享,但很难满足实际需求。协作的程度主要有以下层次:同一系统中不同入侵检测部件之间的协作,尤其是主机型和网络型入侵检测部件之间的协作,以及异构平台部件的协作;不同安全工具之间的协作;不同厂家的安全产品之间的协作;不同组织之间预警能力和信息的协作。分布式入侵检测协作模型应充分利用Agent 研究现有的技术和进展,将其应用到入侵检测和攻击防护中,其主要研究内容包括:研究检测代理(基于主机、基于网络的) 之间的信息交换格式和协作模型,以形成统一的入侵检测表达格式;研究各实体之间的分布结构和逻辑从属关系