我的根文件夹中没有robots.txt文件但我可以通过example.com/robots.txt访问它,它显示了以下内容:
User-agent: *
Disallow:
经过对谷歌的一些研究后,我了解到它是动态生成的,因为我的网站是在wordpress中。有人可以帮我在wordpress中快速创建机器人.txt吗?
答案 0 :(得分:1)
这是在wp-includes / functions.php,第1845行(在3.3.1中)生成的,你可以过滤结果:
echo apply_filters('robots_txt', $output, $public);
因此,如果您不希望它包含任何内容,可以添加过滤器并返回空字符串。 WordPress使用它来响应博客/网站的隐私设置(如果设置是阻止搜索引擎,则$ public设置为'0')。希望这有帮助!