软件工具python中使用线程-peaker.pdfVIP

#软件工具#在Python中学会使用线程

Peaker

在大数据处理时代，我们经常需要对多达几十G甚至上百G的数据进行文本或数据分

析。例如最常见的组数据，一个的完整组数据往往多达几十G，在进行处

理过程中占用大量的内存资源。在生物信息学领域，我们常用的一些编程语言如R语言可以

帮助我们实现非常便捷的文本操作，对于大数据通过迭代或循环进行操作是可以实现的。然

而像R语言这样单任务程序无法实现并行操作，因此在效率上往往不及perl或Python等

其他语言。

Python在设计之初就考虑到要在主循环中，同时只有一个线程在执行，就像单CPU的

系统中运行多个进程那样，内存中可以存放多个程序，但任意时候，只有一个程序在CPU中

运行。同样，虽然python解释器可以“运行”多个线程，但在任意时刻，只有一个线程在

解释器中运行。

对python虚拟机的由全局解释器锁（GIL）来控制，这个GIL能保证同一时刻只有

一个线程在运行。在多线程环境中，python虚拟机按以下方式执行：

1设置GIL

2切换到一个线程去运行

3运行：（a.指定数量的字节码指令，或者b.线程主动让出控制（可以调用time.sleep()））

4把线程设置为睡眠状态

5GIL

6重复以上所有步骤

那么为什么要提出多线程呢？我们首先看一个单线程的例子。

运行结果：

可以看到单线程中的两个循环，只有一个循环结束后另一个才开始。总共用了6秒多的

时间。假设两个loop中执行的不是sleep，而是一个别的运算的话，如果我们能让这些运

算并行执行的话，是不是可以减少总的运行时间呢，这就是我们提出多线程的前提。

Python中的多线程模块：thread，threading，Queue。

1thread，这个模块一般不建议使用。下面我们直接把以上的例子改一下，演示一下。

运行结果：

startingat:MonAug3111:04:392009

startloop0at:MonAug3111:04:392009

startloop1at:MonAug3111:04:392009

loop1doneat:MonAug3111:04:412009

loop0doneat:MonAug3111:04:432009

allDONEat:MonAug3111:04:452009

可以看到实际是运行了4秒两个loop就完成了。效率确实提高了。

2threading模块

首先看一下threading模块中的对象：

Thread：表示一个线程的执行的对象

Lock：锁原语对象

RLock：可重入锁对象。使单线程可以再次获得已经获得的锁

Condition：条件变量对象能让一个线程停下来，等待其他线程满足了某个“条件”，

如状态的改变或值的改变

Event：通用的条件变量。多个线程可以等待某个发生，在发生后，所有的线

程都被激活

Semaphore：为等待锁的线程提供一个类似“等候室”的结构

BoundedSemaphore：与semaphore类似，只是它不允许超过初始值

Timer：与Thread类似，只是，它要等待一段时间后才开始运行

其中Thread类是你主要的运行对象，它有很多函数，用它你可以用多种方法来创建线程，

常用的为以下