我在Google上有180个网页索引,我需要删除除root domaine.com /
以外的所有网页https://www.google.com/webmasters/tools/removals中的语法是什么? domaine.com/$?
我的robots.txt
User-Agent: *
Disallow: /
Allow: /$
和元机器人
<?php
$robotIndex = "index,nofollow";
if(!empty($_GET)) {
$robotIndex = "noindex,nofollow";
}
?>
<meta name="robots" content="<?=$robotIndex?>" />
谢谢你
答案 0 :(得分:0)
如果您还要为每个页面添加元机器人无索引,请不要使用robots.txt阻止文件,因为Google会遵守robots.txt命令,因此永远不会获得元机器人无索引。只是元机器人就足够了,但谷歌可能需要一些时间才能重新抓取所有网站的页面,这些网页必须先将其从索引中删除。
添加元机器人代码后,您可以通过向所有180个网址的Google网站站长工具添加XML站点地图来加快此过程。这将使他们爬得更快。
如果180个网址位于几个单独的目录中,那么您可以使用Google网站管理员工具网址删除工具从索引中删除单个目录,而不仅仅是页面。
答案 1 :(得分:0)
您可以使用 Google Indexing API 删除网址。 发送批量请求。