不需要的页面抓取

Question

  

可能重复：
  How to detect fake users ( crawlers ) and cURL

我的网站的某些页面被不合需要地抓取。

说出像

这样的网页

abc.com/smarty/templates/1.html

abc.com/smarty/templates/2.html

abc.com/images/1.jpg

abc.com/images

• 我想避免索引这些页面
• 还想从谷歌索引中删除这些页面。

我知道使用apache设置这样做。但是因为我使用的是共享网络，所以我无法访问这些。

请帮忙

Answer 1

您可以使用搜索引擎找到的文本文件robots.txt，它可以告诉他们哪些页面可以在您的网站上编制索引。

这是一篇关于如何编写此文件的好文章： Robots.txt: What it is, Why it’s Used and How to Write it

---

要从Google移除页面here

Answer 2

在robots.txt中

添加

之类的规则

User-agent:    *
Disallow:   /smarty/*
Disallow:   /images/*

Answer 3

www.google.com/webmasters/tools /

您可以像谷歌一样获取网页 您可以从Google的索引中删除网页 您可以上传您的站点地图等等。 我认为这正是你要找的。