谷歌应用引擎支持scrapy吗？

Question

它有以下依赖项： - Twisted 2.5.0,8.0或以上 - lxml或libxml2（如果使用libxml2，强烈建议使用2.6.28或更高版本） - simplejson - pyopenssl

Answer 1

你不能在App Engine上使用C扩展，它排除了lxml和（我相信）libxml2和pyopenssl。

我怀疑Twisted在App Engine沙箱中做的大部分内容是否可行;你不能直接打开套接字或产生线程。

EDIT（2013年1月）：Python 2.7运行时确实包含一些C扩展，包括lxml。但是，仍然无法使用Google未在运行时提供的C扩展;目前最有可能的scrapy仍无法使用。

Answer 2

不，但你可以试试AWS（http://dev.scrapy.org/wiki/AmazonEC2）

Answer 3

2019年更新：
Scrapy确实适用于GAE。我可以确认可以使用ScrapyRT将Scrapy部署在GAE Python 3标准环境中。

您的scrapy.cfg文件必须与app.yaml位于同一目录中，以便相应地进行拾取，并且最小设置如下所示：

runtime: python37

instance_class: F2

env_variables:
  PORT: 8080

entrypoint: scrapyrt -i 0.0.0.0 -p $PORT -s LOG_DIR=/tmp

请注意如何将LOG_DIR设置为/tmp，这很可能不是任何人想要的生产环境。一旦我弄清楚如何适当地解决这个问题，我可能会扩展这个答案。