Scrap Spider通过Scrapyd部署的自定义JSON响应

时间:2014-12-06 00:43:02

标签: python json web-scraping scrapy scrapyd

我需要找到一种方法让我的Scrapy蜘蛛返回一个自定义的JSON响应。它使用schedule.json通过scrapyd进行部署。 Schedule.json以JobIDStatus回复,但我想为该回复添加更多数据。

如果有办法我可以通过创建一个单独的响应然后发出一个单独的请求来完成它。

非常感谢!

1 个答案:

答案 0 :(得分:1)

enter image description here

(取自Learn to Read the Source, Luke)。

这是可行的。

根据scrapyd.webservice.WsResource实施您自己的resource,编写render_POST()方法。然后,告诉scrapyd使用您的schedule.json资源实施:

[services]
schedule.json = project.module.MySchedule