使用Scrapy进行网页抓取,我突然遇到这个问题,这是我从堆栈跟踪中获得的唯一结果:
process.crawl(IndexSpiderSingle)
process.start()
之后什么都没有。
使用
从单独的python脚本调用蜘蛛__init__()
根据我在整个蜘蛛的start_requests()
函数中的日志,它实例化没有问题。它似乎在实例化之后和调用operator<<
函数之前遇到问题,因为下一个方法的日志都不会被调用。
目前拉我的头发,任何帮助表示赞赏。 欢呼声。
答案 0 :(得分:0)
您可能正在使用已经https://twistedmatrix.com/trac/ticket/8860或https://twistedmatrix.com/trac/ticket/7927未修复的Twisted版本。尝试升级Twisted以获取日志中报告的回溯。