Question

我使用Celery自动化一些屏幕抓取。我使用Selenium打开Chrome webdriver，操作页面，保存一些数据，然后转到队列中的下一页。问题在于它为队列中的每个任务构建和分解Web驱动程序，这非常耗时且资源密集。

如何在通话中保留对象？我已经阅读了有关Celery中连接池的一些内容，但我不清楚这是如何工作的 - 我在哪里构建webdriver - 在任务文件或主排队文件中？如果是后者，工人们如何知道使用哪个webdriver？

示例：

scrape.py：

for page in list:  
  scrape.delay(str(row['product_id']), str(row['pg_code']))

tasks.py：

def scrape:
  # do some stuff

Answer 1

由于每个worker将任务实例化为单例，因此您可以在任务对象中缓存Web驱动程序。文档特别提出了这种方法。