我一直禁止Google使用robots.txt文件将我的网站编入索引。最近，我读了一位Google员工的文章，他说你应该使用meta标签来做到这一点。这是否意味着Robots.txt无法正常工作？由于我使用的是CMS，因此我的选择非常有限，仅使用robots.txt文件就容易多了。我的问题是，如果我继续使用robots.txt文件而不是元标记，会发生什么最糟糕的情况？
答案 0 :(得分：2)
以下是简单的区别：
robots.txt 文件控制抓取。它指示正在寻找要爬网的页面的“机器人”（又称“蜘蛛”）“躲避”某些地方。您将此文件放置在网站的根目录中。
noindex 标签控制索引编制。它告诉蜘蛛不应对该页面建立索引。您将此标签放置在相关网页的代码中。
要在目录级别或整个网站上进行控制时，请使用robots.txt文件。但是，请记住，不需要机器人遵循这些指令。大多数人都会使用，例如Googlebot，但是将任何高度敏感的信息拒之于网站的公共可访问区域是更安全的。
与robots.txt文件一样，noindex标记将从搜索结果中排除网页。该页面仍将被抓取，但不会被编制索引。当您想在各个页面级别进行控制时，请使用这些标签。
除了抓取和编制索引的区别之外：抓取（通过蜘蛛）是搜索引擎的蜘蛛如何跟踪您的网站；抓取的结果进入搜索引擎的索引。将这些信息存储在索引中可以加快相关搜索结果的返回速度，而不是扫描与搜索相关的每个页面，而是搜索索引（较小的数据库）以优化速度。
如果没有索引，搜索引擎将查看与搜索词相关的每一个数据或信息，而我们所有人都有时间在等待搜索结果的同时制作和食用一些三明治显示。该索引使用Spider来保持其数据库为最新。
以下是标签的示例：
<meta name="robots" content="noindex,follow"/>
现在您已经阅读并理解了以上信息，我认为您可以自己回答问题了；）
答案 1 :(得分：0)
确实，GoogleBot有机会使用：
但是在GoogleBlog-News上看到的它们将从2019年9月开始不再支持那些（已使用0,001％）命令。因此，您应该只在页面上再使用元标记，以确保将来安全。