在码头工人容器中运行Scrapy

时间:2017-02-06 18:27:31

标签: docker scrapy docker-compose

我正在设置一个新的应用程序,我想用docker-compose打包。目前在一个容器中我有一个Flask-Admin应用程序,它还公开了一个用于与数据库交互的API。然后我会有很多需要每天运行一次的刮刀。这些刮刀应该抓取数据,重新格式化数据,然后将其发送到API。我希望我应该为刮刀运行另一个docker容器。

目前,在我的本地计算机上运行Scrapy run-spider myspider.py来运行每个蜘蛛。

在一个容器中安装多个刮刀并将它们安排在白天的不同时间运行的最佳方法是什么?

1 个答案:

答案 0 :(得分:1)

您可以配置具有刮刀的docker容器,以便在适当的时间使用“cron”触发蜘蛛。这是一个例子:"Run a cron job with Docker"