Question

背景：我正在使用芹菜建立一个日程安排网站的调度系统。我们每天爬行大约100万网址（大约）。因此，在微观层面处理和管理事物变得越来越困难。芹菜是我们认为能够以比现在更好的方式处理当前系统的地方。

问题：我有1000个域名网址。我想要做的是将1000个url平均分成n个相等的块，然后为每个块创建一个任务并使用celery安排它。为此，我无法动态创建（注册）任务。此外，我还需要确保礼貌政策。如何在芹菜中动态创建任务。没有相同的文档。

我是否正在朝着正确的方向努力解决这个问题？

Answer 1

动态创建任务是什么意思？

您确实编写了一个抓取网站并按以下方式调用的任务：

crawl_website.delay(url='http://example.com')