我创建了一个蜘蛛,可以抓取以下Twitter屏幕名称的所有内容。
我有1000个这些screen_name,我需要运行SAME Spider,但使用另一个screen_name。
screen_name用于更改起始网址。
process = CrawlerProcess({
'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
})
screen_names = [...] # from database
for screen_name in screen_names:
process.crawl(TwitterSpider(), start_urls=["https://mobile.twitter.com/{name}/following".format(name=screen_name)])
process.start()
现在这失败了
2019-05-19 15:26:17 [scrapy.utils.signal]错误:出现错误 信号处理程序:>
AttributeError:“ TelnetConsole”对象没有属性“ port”