有没有办法找出我的网站的哪些网址被编入索引,哪些不是?
(例如网站:http://example.com/site1.html)
我尝试了什么:
- 使用google ajax api - >这里的问题是,结果与我从谷歌搜索获得的结果完全不同
- 使用谷歌自定义搜索API - >同样的问题:结果与谷歌显示的结果不同(因为它实际上有点像私人搜索)
- 使用Jsoup抓取谷歌 - >从那以后,条款很难做到 - >我在每个请求(30s-90s之间)和使用的代理之间设置了超时。我仍然无法爬行很长时间,谷歌阻止了IP。
怎么办? :)