如何让Python和Go互相调度

我们曾经研究过如何让Python和Go互相调度，当时发现，将Go语言写的模块打包成动态链接库，就能在Python中进行调度：

优劣互补! Python+Go结合开发的探讨

Go的优势很明显，从1亿减到1，在我的设备上测试，用Go运行只需要50ms，Python可能需要接近100倍的时间。

但是，这种写法也有缺点：实在太麻烦了，大大增加了整个项目的耦合性。

那Python中有没有办法不通过打包成动态链接库的方法，用Python调度Go的任务呢？答案是Go celery.

https://github.com/gocelery/gocelery

我们可以用Go写一个计算密集型任务的Worker，然后用Python的Celery beat来调度这个Worker，下面给大家演示一下：

1.编写Go Worker

最好是将计算密集型的任务改造成Go语言版的，这样收益才能最大化。

比如这里，我使用的是上回从1亿减到1的老梗。

PS，别被下面这段代码吓到了，其实大部分是可以去掉的配置项，核心代码就几行。

输入命令：

go run main.go

即可运行该worker

2.编写Python客户端

每5秒调度一次1亿减到1，不过不跑Python worker. 由于Go Worker在运行，这里的minus会被Go Worker消费。

另外请注意，这里的minus函数实际上只是为了能被识别到而编写的，其内容毫无意义，直接写个pass都没问题（因为实际上是Go Worker在消费）。

编写完后，针对go_tasks模块启动beat：

celery -A go_tasks beat

此时，调度器就会调度Go Worker执行任务：

可以看到，我们成功用Python的Celery Beat调度了Go写的Worker！可喜可贺。

接下来可以看看如果单纯用Python的Worker做这样的计算是有多耗时：

启动worker:

celery worker -A python_tasks -l info --pool=eventlet

启动beat调度器:

celery -A python_tasks beat

结果如下：

可以看到，Python从1亿减到1平均需要5.2秒左右的时间，和Go版相差了100倍左右。

如果我们将调度器的频率提高到每秒计算1次，Python版的Worker，其任务队列一定会堵塞，因为Worker消费能力不够强大。相比之下，Go版的Worker可就非常给力了。

因此，如果你的项目中有这种计算密集型的任务，可以尝试将其提取成Go版本试试，说不定有惊喜呢。