从Docker运行Scrapy和Splash

时间:2018-09-21 08:52:57

标签: docker scrapy-splash

新手问题:我在docker容器中运行了启动程序,并在本地开发计算机上运行了scrapy。我现在需要通过docker容器将其提升到AWS环境,但是我不知道如何连接scrapy和splash容器?

我假设我需要创建一个docker stack,但这是我所能做到的:o(

1 个答案:

答案 0 :(得分:0)

最后真的很简单

docker network create crawler-network

docker run --network=crawler-network --name=splash --hostname=splash --memory=6GB --restart unless-stopped -d -p 8050:8050 scrapinghub/splash --max-timeout 600 --slots 10

docker run --network=crawler-network --name=crawler --hostname=crawler -it conda

docker network inspect crawler-network

然后,我们将scrapy初始设置更改为指向http://splash:8060,而不是http://localhost:8050