我为Google生成了Sitemap索引。我唯一的问题是如何验证生成的所有索引（URL）是否有效。根据指南，它说的是这样的：
您编写了一个脚本来针对您的应用程序测试站点地图中的每个URL 服务器并确认每个链接都返回HTTP 200（OK）代码。断开的链接可能表示不匹配 在Sitemap生成器的URL格式配置之间
我只是想看看是否有人有过如何编写此类脚本的经验？
答案 0 :(得分：0)
Google网站管理员工具会在“网站配置 - ＆gt; sitemaps”内向您报告任何HTTP错误并重定向（几乎所有不是HTTP 200的内容），另外在“诊断 - ＆gt;抓取错误 - ＆gt;站点地图”中“是抓取站点地图中列出的网址时发生的错误的另一种观点。
如果那不是你想要的，我会做一些日志文件grep-ing。 （grep for“googlebot”以及您在站点地图中列出的网址标识符）
您可以编写自己的抓取工具来预先检查您的网站是否返回HTTP 200，但是，如果它现在为您返回HTTP 200，并不意味着它将在下周/月为googlebot返回HTTP 200 / 年。所以我建议坚持使用谷歌网站管理员工具和日志文件分析（可视化为：munin，cacti，...）
答案 1 :(得分：0)
您是如何创建站点地图的？我认为大多数站点地图工具只包含以“200 OK”回复的网址
请注意，某些网站会陷入困境并始终以响应200响应而不是例如404表示无效网址。这些网站有问题：）