使用Scrapy Spiders在后端运行的网站托管网站的最佳做法

Question

也许我错过了一些关于Scrapy的东西，但这就是我要做的事情： 我根据使用Scrapy Crawl Spiders从Internet抓取的信息创建了一个网站。但是，我被困在如何让我的网站上线。我考虑网络托管，但大多数服务提供商不允许在他们的服务器上安装这些脚本。我可以租一台服务器，但目前对我来说太贵了。如果你有类似的经历，有人可以对此有所了解。该网站基于ASP.NET，因此需要webhosting支持MS SQL，ASP.NET以及Scrapy。 scrapy中有什么东西可以让蜘蛛在没有安装的情况下运行吗？非常感谢。

干杯， 射线

Answer 1

您需要一个托管服务，您可以在其中安装scrapyd服务，以便您可以自动进行屏幕抓取。我从来没有这样做，因为我刚开始玩Scrapy，但这里有关于scrapyd的信息：http://readthedocs.org/docs/scrapy/en/latest/topics/scrapyd.html

您可能希望查看虚拟专用服务器进行托管，因为它们比共址或专用服务器便宜，但为您提供比共享托管更多的控制权。