我有一个wordpress网站，我希望阻止搜索引擎抓取整个目录。我知道我可以在robots.txt文件中（在站点的根目录中）通过为该目录添加“Disallow”行来完成此操作。然而...
在同一网站中，我使用“XML Sitemap”插件在网站上的任何内容更改时自动构建并提交sitemap.xml。不幸的是，没有办法自动阻止插件从列表中列出我不想抓取的页面。每次我在该目录中添加新页面时，我都必须从站点地图中手动排除该页面（插件允许这样做）。
我的问题是什么优先... robots.txt文件或sitemap.xml文件？换句话说，如果页面在sitemap.xml文件中列出，如果在robots.txt中不允许其父目录，搜索引擎是否会抓取该页面？