标签： python web-scraping scrapy geocoding reverse-geocoding
我想知道为scrapy架构实现地理编码的最佳方式。目的是在scrapy爬行时收集访问的ips的坐标，因此不需要重新处理地理编码的ips表。
现在，它实现为ItemPipeline，它使用多个ip地理定位服务。这只是工作，因为使用地理管道时整个爬虫程序进程非常缓慢。也许爬虫会在管道中排队的多个请求中等待管道？
有没有办法使用scrapy直接生成已经过地理编码的项目？ 或者，如果有任何想法可以获得更好的结果？