如何将数据传递给scrapinghub？

Question

我试图在scrapinghub上运行一个scrapy蜘蛛，我想传递一些数据。我正在使用他们的API运行蜘蛛：

http://doc.scrapinghub.com/api/jobs.html#jobs-run-json

他们有job_settings的选项，这看似相关，但我无法弄清楚如何访问job_settings课程中的Spider数据。这里的正确方法是什么？

Answer 1

此job_settings应直接合并到Scrapy settings，优先级更高（40，IIRC）。

可以通过蜘蛛实例的.settings属性访问Scrapy设置，例如如果self.settings是self个实例，则可以使用scrapy.Spider。