Scrapy-如何使用AWS Lambda函数运行Spider?

时间:2018-07-17 17:10:36

标签: python amazon-web-services scrapy aws-lambda

目前,我有两个使用Scrapy的小项目。一个项目基本上是刮URL的,而另一个项目只是刮URL的产品。目录结构是这样的:

.
├── requirements.txt
├── .venv
├── url
|   ├── geckodriver
|   ├── scrapy.cfg
|   ├── url
|   |   ├── items.py
|   |   ├── middlewares.py
|   |   ├── pipelines.py
|   |   ├── settings.py
|   |   ├── spiders
|   |   |    ├── store1.py
|   |   |    ├── store2.py
|   |   |    ├── ...
├── product
|   ├── geckodriver
|   ├── scrapy.cfg
|   ├── product
|   |   ├── items.py
|   |   ├── middlewares.py
|   |   ├── ...

当我想使用命令运行Spider时,我总是必须遵循以下路径:~/search/url$ scrapy crawl store1~/search/product$ scrapy crawl store1

如何使用AWS lambda函数部署和运行此项目?

0 个答案:

没有答案