如何在Amazon Linux AMI上安装Scrapy

Question

我想使用Scrapy这是一个抓取工具框架，并将其安装到我的服务器上。

这是我的服务器规范。

=============================================== =========

NAME =“Amazon Linux AMI”

VERSION = “2015.09”

ID = “AMZN”

ID_LIKE =“rhel fedora”

VERSION_ID = “2015.09”

PRETTY_NAME =“Amazon Linux AMI 2015.09”

ANSI_COLOR = “0; 33”

CPE_NAME = “CPE：/ O：亚马逊：LINUX：2015.09：GA”

HOME_URL = “http://aws.amazon.com/amazon-linux-ami/”

Amazon Linux AMI发布2015.09

=============================================== =========

我已经阅读了很多关于此的网页，并按照步骤进行操作。 我总是得到一个错误。

我使用了命令sudo pip install scrapy，我得到了这个日志。

这是红色日志。

-> Failed building wheel for lxml

-> Command "/usr/bin/python -c "import setuptools, tokenize;__file__='/tmp/pip-build-lT29Ha/lxml/setup.py';exec(compile(getattr(tokenize, 'open', open)(__file__).read().replace('\r\n', '\n'), __file__, 'exec'))" install --record /tmp/pip-WTCmji-record/install-record.txt --single-version-externally-managed --compile" failed with error code 1 in /tmp/pip-build-lT29Ha/lxml

我在Scrapy安装上花了2天时间。请帮帮我。

Answer 1

我昨天在AWS上做了这个。我使用了一个nano实例，因此需要先添加一些交换。

sudo fallocate -l 4G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo echo "/swapfile swap swap sw 0 0" >> /etc/fstab
sudo swapon /swapfile

然后安装先决条件和scrapy：

sudo su
yum update -y
yum install python-pip -y
yum install python-devel -y
yum install gcc gcc-devel -y
yum install libxml2 libxml2-devel -y
yum install libxslt libxslt-devel -y
yum install openssl openssl-devel -y
yum install libffi libffi-devel -y
CFLAGS="-O0" pip install lxml
pip install scrapy
scrapy -v