robots.txt删除搜索引擎结果

时间:2015-09-07 16:00:05

标签: web-crawler google-crawlers

我听说你可以删除google搜索&通过在web指向的主文件夹中向robots.txt添加内容来创建图像,我该怎么做以及内容消失需要多长时间?

1 个答案:

答案 0 :(得分:0)

User-agent: *
Disallow: /

第一行告诉:对所有机器人应用以下内容。 第二行告诉:不要允许解析任何页面。