将Scrapy Spider结果用于网站

Question

我已经尝试了一些搜寻器，以从本地计算机上的Python环境中提取Web数据。理想情况下，我希望托管一个网站，该网站可以启动搜寻器来聚合内容并将其显示在该网站上。

我的问题是，可以在Web环境中而不是在本地计算机上进行此操作吗？

Answer 1

当然，有许多服务正在执行您想要的相同任务。 scrapingHub是您可以获得的最佳示例。 https://scrapinghub.com/

您可以在其中部署蜘蛛并定期运行它（付费服务）。通过scrapingHub API从您的网站部署并调用Spider，并使用宿主网站中的Spider输出。

此外，您可以通过API调用在服务器和网站中实现相同的想法。