防止RSS feed抓取?

时间:2009-09-03 15:16:51

标签: rss screen-scraping

在Wordpress网站上,我既有一个普通的博客,我希望谷歌检测,也有一个RSS源,用于指向其他网站的外向链接。我不需要/想要机器人来获取这个其他RSS源,我也不希望人们能够获得自己使用的链接。

我已成功停用主博客的RSS,但我不确定如何加密/保护/隐藏此附加Feed的RSS链接。

我不确定Facebook如何在没有RSS的情况下运行新闻源但是他们这样做可能超出了我的手段/经验来复制。

如果这些只是外向链接,我认为Feed中的版权声明不会做太多。也许有办法通过RSS以外的方式自动输出链接?

2 个答案:

答案 0 :(得分:1)

使用Robots.Text www.robotstxt.org阻止Google关注该链接。所有自尊的机器人都应遵循robots.txt文件中的指令。这个文件需要放在你的根目录中。

答案 1 :(得分:1)

对此的基本答案是使用一种获取提要条目的方法,而不是使用实际的RSS,例如输出JSON,通过API等。

它有助于防止刮伤但不完全。