标签： robots.txt
如何阻止所有漫游器将我的网站中的所有html页面编入索引/爬网。我无法阻止文件夹，因为所有这些html页面都分布在这么多文件夹中。因此，我只希望所有漫游器不要索引/抓取我网站中的所有html页面。