我的一些网站网址是重复的。 我需要知道哪些是谷歌索引 我需要c＃中的一些函数来知道我的哪个url被编入索引。
答案 0 :(得分：3)
在Google的搜索中，您可以输入： 网站：YOURDOMAIN
它会告诉你结果。您可以通过编程方式使用Google Custom Search API来执行此操作。 http://code.google.com/apis/customsearch/v1/overview.html
它返回JSON结果，您可以使用DataContractSerializer将其转换为C＃对象。
如果你走这条路，你需要注册一个API密钥。
修改 至于Html Agility Pack，我有一篇博文，展示了如何在页面上提取链接