有没有办法在Heroku

Question

我是Scrapy和Scrapyd的新手，我正在试验它们。

我已经在Gunicorn部署了一个简单的Flask应用程序，它有一个API端点，可以调用scrapyd来安排蜘蛛。

本地我必须在一个单独的终端中启动报废来听取来自Flask端点的呼叫，但是如何在Heroku上做同样的事情呢？我的意思是能够处理对Flask终端的请求，并同时收听从Flask到scrapyd的调用。

任何帮助非常感谢。 谢谢！

Answer 1

您可以使用scrapyd端点从您的烧瓶前端计划一个蜘蛛，该蜘蛛将一个HTTP请求发送给scrapyd，并检查作业是否完成，如果作业ID是否存在于正在运行的作业中，则可以调用正在运行的作业。还有一种更好的方法，可以在爬网完成后返回信号。