基本上我想指定一个被搜索引擎忽略的元素。如果我从学术角度提及色情内容，我不希望谷歌在色情搜索下列出我的网站，但希望它能为网页的其余部分编制索引。
这可能吗？我确信我已经遇到过将元数据包含在一个html中以实现此目的的方法。
我试图在网上找到这个，但都没有成功。 我无法理解this page，因为我不知道是否因为它是草案规范而无法被爬行机器人识别。
答案 0 :(得分：1)
使用您网站根目录中的robots.txt文件。
User-agent: *
Disallow: /myreference_dir/
Disallow: /myreference_dir/myarticle.html