本文共 1216 字，大约阅读时间需要 4 分钟。

默认情况，Python因为GIL的存在，只会调用一个CUP作为单个进程执行程序。即便是采用多线程，也是使用同一个CPU。但是目前电脑大多都有多核。

Python3.2之后提供了一个新的模块concurrent.futures模块可以实现多进程多线程。

concurrent.futures是对multiprocessing和threding这两个模块进一步封装的结果。

• Future模式

生产-消费者模型中，生产者负责向队列种传入数据，消费者负责从队列种获取数据并处理。生产者不关心消费者什么时候处理完数据，也不关心消费者处理的结果。

Future模式是生产-消费者的一种扩展，可以让生产者等待消息处理完成，甚至获取相关结算结果。

• concurrnet.futures

模块提供了两种Executor，一种是ProcessPoolExecutor（多进程，计算密集型任务），一种是ThreadPoolExecutor（多线程，适用IO密集型任务）。

concurrnet.futures模块的构成部分如下：

1. concurrnet.futures.Executor 一个虚拟基类，上述两种子类。
   1. concurrent.futures.ThreadPoolExecutor(max_workers) max_workers = 5表示最多由5个worker并行执行任务
   2. concurrent.futures.ProcessPoolExecutor(max_workers)
2. submit(function, argument) 调度函数（可调用的对象）的执行，将argument作为function的参数传入。
3. map(function, argument) 执行函数，argument作为参数，以异步的方式
4. shutdown(Wait= True) 发出让执行者释放所有资源的信号
5. concurrnet.futures.Future Future对象是submit任务（即带有参数的functions）到executor的实例。

• 多线程举例

# ===任务def each_task(n):    x = n * n * n    return xexecutor = ProcessPoolExecutor(3)   # 实例化进程池start_time = time.time()df = []for i in [10, 100, 1000]:    df.append(executor.submit(each_task, i))   # 提交任务wait(df)   # 等待计算结束end_time = time.time()print(end_time - start_time)executor.shutdown()   # 销毁进程池exit()

• Reference

.
.
.
2019-04-09 17:06:20