在Windows上的Celery任务中运行Scrapy蜘蛛

时间:2014-10-28 09:24:31

标签: python scrapy celery

我试图在Windows 2.7下在Windows上的Celery任务中运行Scrapy蜘蛛。

我见过Run a Scrapy spider in a Celery Task这是关于如何使这项工作普遍适用的最新问题。

我遇到的问题是答案涉及使用billiard包来使一切正常运作。

在某个地方,billiard正在调用socket.fromfd(fd, family, type[, proto])方法,这在Windows上不受支持(socket.fromfd for Windows),所以一切都崩溃了。

有没有人有幸在Windows上使用这个(或类似的twisted reactor进程)?

0 个答案:

没有答案