scrapy - python问题

时间:2010-04-20 03:46:35

标签: python distributed scrapy web-crawler

也许不是正确的发布地点。但是,无论如何我都会尝试!

我创建了几个测试python解析脚本。他们的工作足以让我测试我正在做的事情。

然而,我最近遇到了用于网页抓取的python框架Scrapy。我的应用程序在分布式进程中运行,跨多个服务器的测试平台。我正在努力理解scrapy,看看它是否比我正在做的事情带来好处。

所以,如果可能的话,我真的想和一些基于/或使用scrapy的人交谈。

1 个答案:

答案 0 :(得分:7)

发送电子邮件的好地方是Google Group。可能会有很多用户帮助回答您的一般问题。

他们还有IRC channel可以更快速,更直接的互动。