Question

我可以使用robots.txt来停止索引图像/ html文件的文件夹。但是动态页面呢，例如阻止某些WordPress页面的索引？

Answer 1

robots.txt语法不关心页面是否是动态的：所有重要的是目录结构。

如果您使用像

这样的永久链接结构

example.com/blog/year/month/slug

您应该能够排除单个页面：

user-agent: *
disallow: /blog/2011/09/this-is-a-test-entry

您可以使用Google的网站管理员工具来验证是否发生了这种情况。

请记住，Wordpress在/wp-content中存储静态内容，如图像和PDF文档 - 除非您想阻止该目录中的所有资源，否则无法阻止这些内容。