有没有办法找出我的网站的哪些网址被编入索引，哪些不是？
（例如网站：http://example.com/site1.html）
我尝试了什么：
- 使用google ajax api - ＆gt;这里的问题是，结果与我从谷歌搜索获得的结果完全不同
- 使用谷歌自定义搜索API - ＆gt;同样的问题：结果与谷歌显示的结果不同（因为它实际上有点像私人搜索）
- 使用Jsoup抓取谷歌 - ＆gt;从那以后，条款很难做到 - ＆gt;我在每个请求（30s-90s之间）和使用的代理之间设置了超时。我仍然无法爬行很长时间，谷歌阻止了IP。
怎么办？ ：）