基于线程池的数据采集器在网管中的应用.docVIP

摘 要：本文针对网络管理中对采集器的实时性要求，设计并实现了一个基于线程池的高效网络管理数据采集器。其中详细讨论了它的各项关键技术－－Java 5线程池、类的动态装载和消息队列－－以及由此所带来的通用多用途性、模块化、可扩展和可移植等特性。 　　关键词：线程池，动态装载，采集器，网络管理 　　1．引言 　　随着Internet的迅猛发展，为了能够提供可靠而灵活的网络服务，网络管理与监控越来越成为一个突出的问题。被管理网络变得越来越庞大，网络提供的服务也越来越多样化，因而对网管服务器采集和处理数据的实时能力的要求也越来越高。 　　网络数据采集一般采用多线程技术来提高采集效率。但是在网络管理中，需要频繁的处理用户请求而每次请求需要的服务时间又很简短。此时，系统会将 大量的时间花费在线程的创建与销毁上。Java 5的线程池克服了这些缺点。通过对重用线程来执行多个任务，避免了频繁的线程创建与销毁的开销，能使得采集服务器的性能得到很大提高[1]。本文就是利用 Java 5中的并发线程池技术，设计了一个通用的多用途数据采集器，并应用在综合网管中，较之以前，在性能上有了很大的提高。 　　2．Java 5并发集合工具包java.util.concurrent的简介 　　2.1 三个新加的多线程工具包 　　Java 5中新加入了三个多线程包：java.util.concurrent, java.util.concurrent.atomic, java.util.concurrent.locks。 　　java.util.concurrent包含了常用的多线程工具，是新的多线程工具的主体。 　　java.util.concurrent.atomic包含了不用加锁情况下就能改变值的原子变量，比如说AtomicInteger提供了 addAndGet()方法。Add和Get是两个不同的操作，为了保证别的线程不干扰，以往的做法是先锁定共享的变量，然后在锁定的范围内进行两步操 作。但用AtomicInteger.addAndGet()就不用担心锁定的事了，其内部实现保证了这两步操作是在原子量级发生的，不会被别的线程干 扰。 　　java.util.concurrent.locks包包含锁定的工具。 　　2.2 新的任务执行架构 　　在Java 5.0之前启动一个任务是通过调用Thread类的start()方法来实现的，任务的提于交和执行是同时进行的，如果你想对任务的执行进行调度或是控制 同时执行的线程数量就需要额外编写代码来完成。5.0里提供了一个新的任务执行架构使你可以轻松地调度和控制任务的执行，并且可以建立一个类似数据库连接 池的线程池来执行任务。这个架构主要有三个接口和其相应的具体类组成。这三个接口是Executor, ExecutorService和ScheduledExecutorService，其关系如图1所示。 线程池接口关系图 　　图的左侧是接口，图的右侧是这些接口的具体类。注意Executor是没有直接具体实现的。 　　Executor接口：是用来执行Runnable任务的，它只定义一个方法――execute(Runnable command)，其功能是执行Ruannable类型的任务。 　　ExecutorService接口：它继承了Executor的方法，并提供了执行Callable任务和中止任务执行的服务。 　　ScheduledExecutorService接口：它在ExecutorService的基础上，提供了按时间安排执行任务的功能。 　　Executors类： 　　虽然以上提到的接口有其实现的具体类，但为了方便，Java 5.0建议使用Executors的工具类来得到Executor接口的具体对象，需要注意的是Executors是一个类，不是Executor的复数 形式。Executors提供了以下一些static的方法： 　　newCachedThreadPool()：产生一个ExecutorService对象，这个对象带有一个线程池，线程池的大小会根据需要调整，线程执行完任务后返回线程池，供执行下一次任务使用； 　　newFixedThreadPool(int poolSize)：产生一个ExecutorService对象，这个对象带有一个大小为poolSize的线程池，若任务数量大于poolSize，任务会被放在一个queue里顺序执行； 　　newScheduledThreadPool(int poolSize)：产生一个ScheduledExecutorService对象，这个对象的线程池大小为poolSize，若任务数量大于poolSize，任务会在一个queue里等待执行。 　　在我们设计的网管采集器中，就是