我尝试按照http://doc.scrapy.org/en/latest/intro/install.html中描述的步骤在Windows 7上设置Scrapy。在我的电脑上安装了Python 3.5.1。虽然Scrapy不支持这个python版本,但它已成功安装最新的Anaconda但无法运行蜘蛛脚本。我发现Scrapy仅适用于Python 3.3。+版本,因此卸载版本3.5.1,卸载Anaconda,安装python 3.3.5,安装pywin32并安装pip。 pip失败update A
set A.marks= B.marks
from A
INNER join B
on A.[name] = B.[name] and A.[id]=B.[id]
,所以我安装了Anaconda并安装了pip install Scrapy
Scrapy,但我看到安装的libs是for python 3.5,如:conda install -c scrapinghub scrapy
现在我运行
scrapy: 1.1.0-py35_0
并收到错误
c:\python\olxscrapy>scrapy crawl OlxCatalogSpider
如何使用python 3.3。+
运行Scrapy答案 0 :(得分:2)
在这篇博客上:
https://blog.scrapinghub.com/2016/05/25/data-extraction-with-scrapy-and-python-3/
它表示Python 3上的Scrapy在Windows环境中不起作用
编辑: 我最近在Ubuntu for Python 3.5上安装了scrapy,并收到了很多错误。错误在以下之后停止:" sudo apt-get install python3.5-dev"。
答案 1 :(得分:0)
尝试创建虚拟环境:
pip install virtualenv(instalation) virtualenv -p python3.3.5 envName(使用特定的python版本创建) source ./envName/bin/activate(activate virtual env)
这样你可以保证这是正确的python版本。此外scrapy有一些要求无法通过pip安装,这可能会导致你的pip安装scrapy失败
所以安装在你的电脑上: 蟒蛇-dev的 libxslt1-dev的 libxslt1.1 的libxml2-dev的 libxml2的 的libssl-dev的
在此之后你最终能够通过你的虚拟环境中的pip安装scrapy(可能)
我可怜的英语不是我的母语。希望这项工作=]
答案 2 :(得分:0)
我添加了以下包,它可以工作:
pip install twisted-win==0.5.5
答案 3 :(得分:0)
在安装Scrapy
时,在Windows上安装Twisted
可能会出错。
Twisted
pip install <downloaded filename>
pip install scrapy