有没有办法找到Google在特定域中抓取的所有唯一网址?

时间:2015-01-26 19:08:06

标签: url google-search googlebot google-crawlers

我想知道是否有办法获取Google搜索抓取工具抓取的所有网址(包括子网域)?

1 个答案:

答案 0 :(得分:0)

您只能通过搜索来找到Google <索引(不仅仅是已抓取)的网页:

site:example.com