许多具有部分页面内容的AJAX URL已被Google索引。
似乎没有一种简单直接的方法可以请求从Google索引中进行批量排除，因此有一些尝试来解决此问题。
起初，使用了robots.txt排除项，但是后来发现当它找到直接链接或已经将其包含在索引中时，Google会忽略robots.txt。
第二次尝试是将noindex标头添加到需要排除的URL中，但是现在重新验证所有这些URL需要花一些时间。
这些网址甚至在Google搜索控制台的“覆盖率”报告下也被分组为“有效并带有警告”，并且警告是：“已编入索引，但被robots.txt阻止”。这可能是第一种robots.txt方法的结果。
有一个按钮可以对它们进行重新验证，但是启动甚至需要花费几周的时间，然后在经过一定百分比的URL后便会变为失败状态。这些警告URL的数量下降，但随后验证停止。
因此，问题是，添加这些noindex标头后，重新索引一组URL的正确，最快的方法是什么？