无法使用scrapyd-deploy部署portia spider

时间:2014-12-16 10:47:27

标签: python deployment scrapy scrapyd portia

你可以帮我弄清楚我做错了什么吗?以下是步骤:

  • 按照此处https://github.com/scrapinghub/portia找到的portia安装手册 - 一切正常
  • 创建了一个新项目,输入了一个网址,标记了一个项目 - 一切正常
  • 点击"继续浏览",浏览网站,正在按预期提取项目 - 一切正常

接下来我想部署我的蜘蛛:

第一次尝试:我尝试运行,正如指定的文档,scrapyd-deploy your_scrapyd_target -p project_name - 得到错误 - scrapyd没有安装 修复:pip install scrapyd

第二次尝试:我启动了scrapyd服务器,访问了http://localhost:6800/ - 一切正常

在简要阅读scrapyd文档之后,我发现我必须编辑项目中的scrapy.cfg文件:slyd/data/projects/new_project/scrapy.cfg 补充说:

[deploy:local]
url = http://localhost:6800/

回到控制台,检查一切正常:

$:> scrapyd-deploy -l
local http://localhost:6800/

$:> scrapyd-deploy -L local
default

似乎没问题,所以我再试一次:

$scrapyd-deploy local -p default
Packing version 1418722113
Deploying to project "default" in http://localhost:6800/addversion.json
Server response (200):
{"status": "error", "message": "IOError: [Errno 21] Is a directory: '/Users/Mike/www/portia/slyd/data/projects/new_project'"}

我错过了什么?

1 个答案:

答案 0 :(得分:0)

对于遇到此问题的任何人,修复方法是将scrapyd部署在除项目之外的其他目录中。 详情请见https://github.com/scrapinghub/portia/issues/128