标签： bots blacklist
我注册了API。它的文档说：“建议您将网站中的机器人列入黑名单，以降低使用成本。”
这意味着什么以及如何做到这一点？
答案 0 :(得分：2)
您需要设置一个robots.txt文件，该文件提供有关哪些机器人不允许执行此操作的说明。
请参阅http://www.robotstxt.org/。