如何在PHP中隐藏机器人的内容

Question

我正在使用jquery并使用php文件向不同的URL显示动态内容。 php文件获取当前url（referal）并查询数据库中的相应内容：

$url =  $_SERVER['HTTP_REFERER'];

这是jquery：

<div id="dyncontent"></div>
<script type="text/javascript">
     $(function() {
         $.get('http://mydomain.com/content.php', function(data) {
             $('#dyncontent').html(data);
         });
     });
</script>

我知道机器人可以伪造url referal，但我不确定它是否可以获取我的php文件的内容。

任何人都有这方面的经验吗？如何从机器人中有效隐藏这些内容？

非常感谢。

Answer 1

您可能希望阅读以下答案：Protection from screen scraping

基本上根据您的方案有不同的考虑因素。但是很难以这种方式公开你的数据，并保护它免受那些想要抓住它的机器人的攻击。<​​/ p>

Answer 2

这是处理恶意机器人的好方法：Protect Your Site with a Blackhole for Bad Bots

基本前提是（引自网站）：

  

...在某处包含一个到robots.txt-forbidden目录的隐藏链接   你的网页。忽略或违反机器人规则的机器人将抓取   链接并陷入陷阱，然后执行WHOIS查找   并将事件记录在黑洞数据文件中。一旦添加到   黑名单数据文件，坏机器人立即拒绝访问您的   网站....

如果机器人没有遵守您的robots.txt文件，您可能不希望它在您的网站上。