目前,我有两个使用Scrapy的小项目。一个项目基本上是刮URL的,而另一个项目只是刮URL的产品。目录结构是这样的:
.
├── requirements.txt
├── .venv
├── url
| ├── geckodriver
| ├── scrapy.cfg
| ├── url
| | ├── items.py
| | ├── middlewares.py
| | ├── pipelines.py
| | ├── settings.py
| | ├── spiders
| | | ├── store1.py
| | | ├── store2.py
| | | ├── ...
├── product
| ├── geckodriver
| ├── scrapy.cfg
| ├── product
| | ├── items.py
| | ├── middlewares.py
| | ├── ...
当我想使用命令运行Spider时,我总是必须遵循以下路径:~/search/url$ scrapy crawl store1
或~/search/product$ scrapy crawl store1
。
如何使用AWS lambda函数部署和运行此项目?