标签: python distributed scrapy web-crawler
也许不是正确的发布地点。但是,无论如何我都会尝试!
我创建了几个测试python解析脚本。他们的工作足以让我测试我正在做的事情。
然而,我最近遇到了用于网页抓取的python框架Scrapy。我的应用程序在分布式进程中运行,跨多个服务器的测试平台。我正在努力理解scrapy,看看它是否比我正在做的事情带来好处。
所以,如果可能的话,我真的想和一些基于/或使用scrapy的人交谈。
答案 0 :(得分:7)
发送电子邮件的好地方是Google Group。可能会有很多用户帮助回答您的一般问题。
他们还有IRC channel可以更快速,更直接的互动。