我试图禁止网站的某些部分而不是整个部分。
我对此比较陌生，所以如果有人带我走过，我会很感激。
我知道您可以从抓取工具中禁用：/ page1.cfm，但如果我只想禁止该页面的一部分，例如该页面上存在的链接或联系表单，该怎么办？这个功能甚至可能吗？
基于我最近阅读的一些论坛，“nofollow”功能不再起作用了，因为爬虫变得越来越聪明。 （我不知道这个论坛有多可信，所以如果有人有更好的来源请分享）
有什么建议吗？
答案 0 :(得分：1)
您可以在元标记中使用属性“nofollow”来隐藏页面上的信息。谷歌写道，他们没有传递标有“nofollow”的链接。有关此内容的更多信息以及您可以在此处找到的示例：
Robots.txt tutorial和Google support希望这有帮助
答案 1 :(得分：1)
不要使用nofollow，你的页面上会丢失链接。
Robots.txt只是抓取器的一个提示，如果他们已经找到了他们仍然访问它并将其编入索引的页面，则有一半时间使用disalow规则。
使用.htaccess规则禁止或阻止对此网页的访问。 或者使用复杂的.js（base64_encode（）+ str_rot13（）编码加密您的链接应该足以丢失爬虫）