如何将scrapy与我的烧瓶应用程序集成？

Question

我有一个需要从多个网站抓取数据的应用程序，我已经能够使用python的scrapy库抓取数据，但是问题是我想拥有可以使用rest调用我的Spider的功能API。

我该如何实现这一目标，因为我不希望执行额外的步骤，首先抓取数据，然后将其保存在后端，然后使用API​​来获取数据？

任何帮助将不胜感激。我已经尝试过Arachne，但无法从scrapy返回JSON响应。

Answer 1

我认为您可能想看看scrapyd：https://scrapyd.readthedocs.io/en/stable/

它允许您部署Spider并使用JSON API对其进行控制。