标签： .htaccess web-crawler bots googlebot
除了googlebot，bing和yandex之外，是否可以使用.htaccess阻止漫游器/爬网程序/蜘蛛访问我的网站。
我不在乎其他机器人/蜘蛛的名称。我只允许使用googlebot，bing和yandex。
请搜索其他帖子，但找不到此特定帖子。