众力资讯网

千万别让同事知道你懂Python的GIL:我用一个参数把任务队列吞吐翻倍,然后装

千万别让同事知道你懂Python的GIL:我用一个参数把任务队列吞吐翻倍,然后装作调了很久
组里有个任务队列,跑的是IO密集型的活。每个任务要调三次外部接口,拉数据,拼装,写库。一开始单线程跑,慢得让人想砸键盘。
后来上了线程池。代码大概长这样。
import time
from concurrent.futures import ThreadPoolExecutor

def fetch(url):
time.sleep(0.1)
return url

def task(i):
fetch(f'api/a/{i}')
fetch(f'api/b/{i}')
fetch(f'api/c/{i}')

with ThreadPoolExecutor(max_workers=8) as ex:
list(ex.map(task, range(200)))
看着挺合理对吧。八个线程,两百个任务,每个任务三次IO等待。跑一遍大概七秒多。我当时也觉得没问题,直到有天压测把队列打满,任务堆积到几千个,监控上那个曲线一直往上飙。
我去翻文档,看到GIL那段。很多人对GIL的理解就停在“Python多线程是假的”。这句话对了一半。GIL确实让同一时刻只有一个线程执行字节码。 可IO等待的时候,线程会主动释放GIL。 也就是说,线程卡在sleep或者网络请求上的时候,别的线程是能跑的。
问题出在别的地方。ThreadPoolExecutor默认的max_workers,在较新的Python版本里是min(32, cpu_count + 4)。我们那台机器八核,默认就给了十二个线程。听起来够用。可每个任务里串了三次IO,等于一个线程在大部分时间里都在等。十二个线程同时在等的窗口就那么点大。
我做了个对比。把max_workers从默认改成64,其他一个字没动。
with ThreadPoolExecutor(max_workers=64) as ex:
list(ex.map(task, range(200)))
同样的两百个任务,耗时从七秒掉到一秒出头。吞吐直接翻了几倍。原因很简单, IO密集型的活,线程数该按等待时间算,不该按CPU核数算。 线程大部分时间在等,多开一些让等待重叠起来,CPU那边根本不受影响,因为GIL在等待期间是放开的。
这事让我想起之前一个同事。他遇到队列慢,第一反应是换进程池。ProcessPoolExecutor,每个进程独立GIL,听起来很对。结果序列化开销把收益吃干净了,任务体又小,进程间传数据的成本比干活还高。他折腾了两天,最后回到线程池,改了个数字就完事。
还有个坑得提一句。线程数不是越大越好。开到几百,上下文切换和内存占用会反过来拖后腿。我一般从cpu_count乘个四到八开始试,看监控里的队列长度和单任务耗时,慢慢往上加,找到一个拐点就停。 参数是试出来的,不是背出来的。
改完那天我在工位上坐了很久。一个数字,一行改动,吞吐翻倍。我没在群里说,也没写进周报。就默默提交了,commit message写的是“调整线程池配置”。后来有人问起队列怎么快了,我说最近网络好像稳定了些。
懂GIL的人不少,真把它用在调参上的人不多。这中间的差距,有时候就是一个max_workers的距离。