python创建线程池(threadpool模块和multiprocessing模块)

1.threadpool模块

调入模块

import threadpool

创建线程池

pool = threadpool.ThreadPool(10)

这里的"10"代表创建10个子线程

规定线程池执行的任务

tasks = threadpool.makeRequests(outdata,datalist)

outdata是函数名，datalist是一个参数列表，线程池会依次提取datalist中的参数引入到函数中来执行函数，所以参数列表的长度也就是线程池所要执行的任务数量。

将要执行的任务放入线程池中

[pool.putRequest(req) for req in tasks]

这里的结构是固定的，需要更改的就是 pool:线程池对象名和 tasks:执行的任务对象名

等待所有子线程执行完毕后退出

pool.wait()

实例

import threadpool  #线程池模块import timedef outdata(name):  #线程池执行的函数print("你好 %s" % name)time.sleep(3)time1 = time.time()datalist = []  #创建参数列表for i in range(10):datalist.append(i)pool = threadpool.ThreadPool(10) #线程池创建10个子线程tasks = threadpool.makeRequests(outdata,datalist)  #参数列表长度为10 所以要执行10个任务[pool.putRequest(req) for req in tasks]  #将要执行的任务放入线程池中pool.wait()  #等待所有子线程执行完毕后退出time2 = time.time()print(time2-time1)  #从开始到结束所用的时间

执行结果：

你好 0你好 1你好 2你好 3你好 4你好 5你好 6你好 7你好 8你好 93.0033936500549316

所有任务在同一时刻执行完毕，所用时间为3秒

2.multiprocessing模块

调入模块

from multiprocessing.dummy import Pool

创建线程池

pool = Pool(10)

规定线程池执行的任务

result = pool.map(outdata,datalist)

outdata为所要执行的函数，datalist为参数列表，和threadpool的方法是一样的，线程池也会依次在参数列表中提取参数带入函数中来执行函数，参数列表的长度也就是线程池所要执行的任务数量。

等待所有子线程执行完毕后退出

pool.join()

这里要注意的是，在执行 pool.join方法之前，要先执行：

pool.close()

执行完 pool.close 方法后就不有新的线程加入到pool中

实例

from multiprocessing.dummy import Poolimport timedef outdata(name):  #线程池所要执行的函数print("你好 %s" % name)time.sleep(3)time1 = time.time()datalist = []  #创建参数列表for i in range(10):datalist.append(i)pool = Pool(10)  #创建10个子线程result = pool.map(outdata,datalist)  # 参数列表长度为10 所以要执行10个任务pool.close()pool.join()  #等待所有子线程执行完毕后退出，在此之前要执行 .close 方法time2 = time.time()print(time2-time1)  #从开始到结束所用的时间

执行结果：

你好 0你好 1你好 2你好 3你好 4你好 5你好 6你好 7你好 8你好 93.020441770553589

所有任务在同一时刻执行完毕，所用时间为3秒

目录

1.threadpool模块

2.multiprocessing模块

更多相关文章

随机推荐