机器人元和robots.txt

Question

我在我的php标头中使用条件语句来排除某些文件被机器人跟踪。 但是暂时我不得不阻止其中一些页面因为我的网站正在执行。在这个阶段，我使用了robots.txt来排除它们。但他们仍然没有跟随元索引。

谷歌会不会看到这种矛盾？

Answer 1

如果您要阻止robots.txt中的网页，那么任何服从robots.txt的抓取工具都不会加载该网页，因此永远不会看到漫游器元标记。元标记实际上被忽略了。