使用Scrapy-Splash的代理服务器

时间:2017-03-29 10:01:55

标签: python web-scraping scrapy scrapy-splash splash-js-render

我正在尝试让代理服务器在我的本地splash实例上运行。我已阅读了几份文件,但没有找到任何可行的例子。我注意到这https://github.com/scrapy-plugins/scrapy-splash/issues/107就是原因。我不再获得追溯,但仍然无法使用Splash与代理。下面的新错误消息。如果有人能帮我解决这个问题,请提前致谢我的所有要求都没有通过Splash。

private void Try()
{
    ClearFolder(root_dir);
    Directory.CreateDirectory(root_dir);
    main_timer.Enabled = false;
    ProcessSet(1);
}

1 个答案:

答案 0 :(得分:2)

问题似乎是由Crawlera中间件引起的。 SplashRequest没有处理。它试图通过代理到我的本地主机。