如何将scrapyd部署到网络

时间:2017-02-02 19:29:19

标签: python windows scrapy scrapyd

我目前在我的机器上有一个本地运行的scrapyd实例。这个scrapyd实例需要在我的雇主网络上的其他PC上使用。我读过有关scrapy-cloud(https://doc.scrapinghub.com/scrapy-cloud.html)和其他基于云的服务。但是,我更倾向于在我们的网络上托管报废,因为我构建的蜘蛛从存储在我们服务器上的csv文件中提取数据。

我已经搜索了scrapyd文档(https://scrapyd.readthedocs.io/en/stable/)并了解了如何安装和运行报废。我也很乐意将scrapy项目上传到scrapyd并运行特定的蜘蛛。

我需要采取哪些步骤才能将我的scrapyd实例提供给网络上的其他计算机?我们所有的PC和服务器都在Windows操作系统上运行

答案不一定是具体的分步指南。我只是想找人帮我指明正确的方向,因为我不确定如何继续。

1 个答案:

答案 0 :(得分:1)

如果您在相同的ip范围内的局域网。

您可以按照说明操作并检查您的IP linux中的ifconfig Windows中的ipconfig

并运行手册中的命令 curl http://localhost:6800/addversion.json -F project = myproject -F version = r23 -F egg=@myproject.egg

并使用您的ipaddress

更改localhost

例如,如果您的IP是192.168.1.10

你会跑的 在其他电脑上。

curl http://192.168.1.10:6800/addversion.json -F project = myproject -F version = r23 -F egg=@myproject.egg

如果您使用防火墙,则需要打开端口,如果您不在Windows中使用cURL,则可以下载并安装它: How do I install/set up and use cURL on Windows?

有关api的更多信息,请查看手册