禁用生成单个网址或阻止抓取

时间:2015-05-22 19:58:27

标签: php wordpress .htaccess

假设我有一个名为XYZ的帖子类别。我已经在此类别中发布了3个不同的帖子。

如下

1st posts - www.example.com/2015/04/20/1st-posts/
2nd posts - www.example.com/2015/04/20/2nd-posts/
3rd posts - www.example.com/2015/04/20/3rd-posts/

我已在名为MNO的页面中显示它们,并且标题不可链接。因此,用户无法看到帖子的单一视图。没关系。但是,我可以通过在浏览器和搜索引擎中打开这些URL来查看它们作为单个帖子,同时抓取这些帖子的URL。对于搜索引擎,虽然这些帖子标题无法在MNO页面上点击,但人们会访问这些页面。

现在,我的问题是 -

  1. 我可以阻止抓取吗?或者,

  2. 我是否可以删除这些网址,帖子内容也可用于MNO页面?

  3. 哪种方式最好? .htaccess或其他任何方式?

  4. N.B。实际上,我无法移动到任何自定义帖子类型或自己创建的插件。因为,至少有5000个帖子。

1 个答案:

答案 0 :(得分:1)

您无法阻止网络抓取工具抓取任何公开可见的内容,但您可以礼貌地询问抓取工具是否不对某些网页编制索引。阅读robots file