我在Windows 10 Pro上运行了一个运行Ubuntu的Docker容器。 Scrapy和Scrapyd包已经安装在容器中,一切都很好。我使用scrapyd-deploy向Scrapyd添加了一个项目Project A,一切都还不错。我可以使用curl和schedule.json API安排Project A的蜘蛛,并爬行直到奶牛回家。
问题是项目A在容器运行之间不会持续存在。在奶牛回家后,停止并运行Ubuntu容器后,Scrapyd包含0个项目,如listprojects.json所示。我尝试过提交容器,但项目不会持续存在。
感谢任何帮助!
答案 0 :(得分:0)
总结评论的讨论。
您必须将两个路径从容器挂载到主机系统才能保留数据。
您可以像这样定义装载:
$ docker run -it -v runtime-storage:/usr/src/app/runtime_storage -v results-storage:/usr/scr/app/results scrapyd-36