来自网站的黑名单机器人

Question

我注册了API。它的文档说：“建议您将网站中的机器人列入黑名单，以降低使用成本。”

这意味着什么以及如何做到这一点？

Answer 1

您需要设置一个robots.txt文件，该文件提供有关哪些机器人不允许执行此操作的说明。

请参阅http://www.robotstxt.org/。