如何防止机器人在CodeIgniter中创建会话？

Question

我正在使用CodeIgniter将会话存储在我的数据库中。 在很短的时间内，机器人/蜘蛛等会创建大量的会话。

有没有办法阻止这种情况？也许是通过.htaccess？

Answer 1

首先，您应该在域的Web根目录中创建robots.txt文件，以解决两个问题。首先要控制网站被抓取的速度，这有助于防止僵尸/蜘蛛同时创建大量的数据库连接。其次是防止特定机器​​人抓取网站。使用以下默认值，但您可能希望添加或删除拒绝的用户代理，并调整爬网率

示例代码：

User-agent: *
Crawl-delay: 10

User-agent: Baiduspider
Disallow: /

User-agent: Sosospider
Disallow: /

使用/robots.txt时有两个重要注意事项：

1. 机器人可以忽略您的/robots.txt。特别是在网络上扫描安全漏洞的恶意软件机器人，以及垃圾邮件发送者使用的电子邮件地址收集器都不会引起注意。
2. /robots.txt文件是公开可用的文件。任何人都可以看到您不希望机器人使用的服务器部分。