无法在Windows上设置Scrapy

时间:2016-06-14 17:33:27

标签: python windows python-3.x scrapy

我尝试按照http://doc.scrapy.org/en/latest/intro/install.html中描述的步骤在Windows 7上设置Scrapy。在我的电脑上安装了Python 3.5.1。虽然Scrapy不支持这个python版本,但它已成功安装最新的Anaconda但无法运行蜘蛛脚本。我发现Scrapy仅适用于Python 3.3。+版本,因此卸载版本3.5.1,卸载Anaconda,安装python 3.3.5,安装pywin32并安装pip。 pip失败update A set A.marks= B.marks from A INNER join B on A.[name] = B.[name] and A.[id]=B.[id] ,所以我安装了Anaconda并安装了pip install Scrapy Scrapy,但我看到安装的libs是for python 3.5,如:conda install -c scrapinghub scrapy

现在我运行

scrapy: 1.1.0-py35_0

并收到错误

c:\python\olxscrapy>scrapy crawl OlxCatalogSpider

如何使用python 3.3。+

运行Scrapy

4 个答案:

答案 0 :(得分:2)

在这篇博客上:

https://blog.scrapinghub.com/2016/05/25/data-extraction-with-scrapy-and-python-3/

它表示Python 3上的Scrapy在Windows环境中不起作用

编辑: 我最近在Ubuntu for Python 3.5上安装了scrapy,并收到了很多错误。错误在以下之后停止:" sudo apt-get install python3.5-dev"。

答案 1 :(得分:0)

尝试创建虚拟环境:

pip install virtualenv(instalation)  virtualenv -p python3.3.5 envName(使用特定的python版本创建)  source ./envName/bin/activate(activate virtual env)

这样你可以保证这是正确的python版本。此外scrapy有一些要求无法通过pip安装,这可能会导致你的pip安装scrapy失败

所以安装在你的电脑上:  蟒蛇-dev的  libxslt1-dev的  libxslt1.1  的libxml2-dev的  libxml2的  的libssl-dev的

在此之后你最终能够通过你的虚拟环境中的pip安装scrapy(可能)

我可怜的英语不是我的母语。希望这项工作=]

答案 2 :(得分:0)

我添加了以下包,它可以工作:

pip install twisted-win==0.5.5

答案 3 :(得分:0)

在安装Scrapy时,在Windows上安装Twisted可能会出错。

  1. 根据此网站上的Python和Windows版本http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
  2. 下载Twisted
  3. 转到您的下载文件夹和pip install <downloaded filename>
  4. pip install scrapy