如何阻止除Google和Bing之外的所有机器人？

Question

如何阻止除Google和Bing之外的所有漫游器。 我正在使用Cloudflare，但是我很困惑，该怎么办。

我希望除这些机器人之外的所有机器人都面临Cloudflare JS挑战

Answer 1

简单：在根目录robots.txt中创建文件

并添加您要允许或禁止的机器人

# robots.txt 
User-agent: *
Disallow: /

User-agent: bingbot
allow: /
Disallow: /some-page-for-bingbot/

User-agent: googlebot
allow: /
Disallow: /some-page-for-googlebot/