无法使用Scrapinghub抓取特定网站

时间:2014-09-22 02:30:42

标签: scrapinghub

我在scrapinghub服务中使用autoscraping功能。

在构建和部署autoscraper时,我发现我想要抓取的网站永远不会返回任何请求,并且会在3.5分钟左右超时。

所以,我开始阅读文档,看看能否找出原因(How to check if site is suitable for autoscraping)。

我按照步骤暂时从我的浏览器中删除了Javascript(chrome),发现我在浏览我想要搜索的网站时没有任何问题。

我的问题是,除了Javascript之外,冒着模糊不清的风险,除了Javascript之外,还有一些其他可能导致网站无法覆盖的原因?关于如何诊断这样的问题还有其他一些想法吗?

0 个答案:

没有答案