使用Scrapy创建蜘蛛,蜘蛛生成错误

时间:2010-05-16 04:52:40

标签: python web-crawler scrapy

我刚刚在Windows 32上下载了Scrapy(网络抓取工具),刚刚在dos中使用“scrapy-ctl.py startproject dmoz”命令创建了一个新的项目文件夹。然后我继续使用命令创建第一个蜘蛛:

scrapy-ctl.py genspider myspider myspdier-domain.com

但它不起作用并返回错误:

Error running: scrapy-ctl.py genspider, Cannot find project settings module in python path: scrapy_settings.

我知道我的路径设置正确(到python26 / scripts),但我很难弄清问题是什么。我是scrapy和python的新手,所以我很有可能无法做一些重要的事情。

另外,我一直在使用带有Pydev插件的eclipse编辑代码,如果这可能会导致一些问题。

3 个答案:

答案 0 :(得分:2)

PATH和PYTHON_PATH之间存在差异。你的PYTHON_PATH设置正确吗?这条路径是python看起来包含包/模块的地方。

答案 1 :(得分:1)

在项目的目录中使用scrapy-ctl.py。该脚本将了解该项目的设置。主要的scrapy-ctl.py没有关于该特定项目设置的线索。

答案 2 :(得分:0)

将PYTHONPATH环境变量设置为python26 / scripts。

相关问题