无法部署到Scrapinghub

时间:2016-09-19 04:50:04

标签: python deployment web-scraping scrapy scrapinghub

当我尝试使用shub deploy进行部署时,出现了此错误:

  

删除中间容器fccf1ec715e6步骤10:运行sudo -u   nobody -E PYTHONUSERBASE = $ PYTHONUSERBASE pip install --user   --no-cache-dir -r /app/requirements.txt --->在729e0d414f46中运行给出双重要求:attrs == 16.1.0(来自-r /app/requirements.txt   (第51行))(已经在attrs == 16.0.0(来自-r /app/requirements.txt   (第1行)),name ='attrs')

     

{“message”:“命令'/ bin / sh -c sudo -u nobody -E   PYTHONUSERBASE = $ PYTHONUSERBASE pip install --user --no-cache-dir   -r /app/requirements.txt'返回非零代码:1“,”details“:{”message“:”命令'/ bin / sh -c sudo -u nobody -E   PYTHONUSERBASE = $ PYTHONUSERBASE pip install --user --no-cache-dir   -r /app/requirements.txt'返回非零代码:1“},”error“:”build_error“}

     

{“message”:“内部构建错误”,“状态”:“错误”}部署日志   地点:   c:\ users \ dr521f~1.pri \ appdata \ local \ temp \ shub_deploy_pvx7dk.log错误:   部署失败:{“message”:“内部构建错误”,“状态”:“错误”}

这是我的requirements.txt

attrs==16.1.0
beautifulsoup4==4.5.1
cffi==1.8.2
click==6.6
cryptography==1.5
cssselect==0.9.2
enum34==1.1.6
fake-useragent==0.1.2
hubstorage==0.23.1
idna==2.1
ipaddress==1.0.17
lxml==3.6.1
parsel==1.0.3
pyasn1==0.1.9
pyasn1-modules==0.0.8
pycparser==2.14
PyDispatcher==2.0.5
pyOpenSSL==16.1.0
pypiwin32==219
queuelib==1.4.2
requests==2.11.1
retrying==1.3.3
ruamel.ordereddict==0.4.9
ruamel.yaml==0.12.13
scrapinghub==1.8.0
Scrapy==1.1.2
scrapy-fake-useragent==0.0.1
service-identity==16.0.0
shub==2.4.0
six==1.10.0
Twisted==16.4.0
typing==3.5.2.2
w3lib==1.15.0
zope.interface==4.3.2

为什么我不能部署?

1 个答案:

答案 0 :(得分:1)

来自文档here

  

请注意,此要求文件是Scrapy Cloud的扩展   堆栈,因此不应包含已经包含的包   堆栈,如scrapy。

正如您在错误中看到的那样:

  

在729e0d414f46中运行给出双重要求:attrs == 16.1.0(来自   -r /app/requirements.txt(第51行))(已经在attrs == 16.0.0(来自-r /app/requirements.txt(第1行)),name ='attrs')

它说Double requirement given

为整个项目和Scrapinghub使用不同的requirements.txt。我最终创建了shub-requirements.txt,其中包含:

beautifulsoup4==4.5.1
fake-useragent==0.1.2