Question

使用元标记*或robots.txt文件来通知蜘蛛/抓取工具包含或排除网页是否更好？
使用元标记和robots.txt时是否有任何问题？

*例如：<#META name="robots" content="index, follow">

Answer 1

有一个显着的区别。 According to Google如果页面通过其他网站链接，他们仍然会将robots.txt DENY后面的网页编入索引。

但是，如果他们看到元标记，他们就不会这样做：

虽然Google不会抓取或索引robots.txt阻止的内容，但我们仍可能会从网络上的其他位置查找并索引不允许的网址。因此，URL地址以及可能的其他公开信息（例如网站链接中的锚文本）仍可显示在Google搜索结果中。您可以使用其他网址拦截方法阻止您的网址完全显示在Google搜索结果中，例如使用密码保护服务器上的文件或使用noindex元标记或响应标题。

Answer 2

两者都受到尊重网站管理员愿望的所有抓取工具的支持。并非所有人都这样做，但对他们来说，技术都不够。

您可以将robots.txt规则用于一般事项，例如禁止网站的整个部分。如果您说Disallow: /family，则所有以/family开头的链接都不会被抓取工具编入索引。

元标记可用于禁止单个页面。元标记不允许的页面不会影响页面层次结构中的子页面。如果您在/work上有meta disallow标记，则如果在允许的网页上有链接，则不会阻止抓取工具访问/work/my-publications。

Answer 3

Robots.txt恕我直言。

Meta标签选项告诉机器人不要索引单个文件，而Robots.txt可用于限制对整个目录的访问。

当然，如果您希望跳过索引文件夹中的奇数页，请使用Meta标签，但一般情况下，我建议您将大部分非索引内容放在一个或多个文件夹中，并使用robots.txt跳过很多。

不，使用两者都没有问题 - 如果存在冲突，一般而言，拒绝将否决允许。

Answer 4

元机器人与robots.txt之间存在巨大差异。

在robots.txt中，我们会询问抓取工具您必须抓取哪些网页以及您必须排除哪个网页，但我们不会要求抓取工具不要将这些排除的网页编入索引。

但是如果我们使用元机器人标签，我们可以要求搜索引擎抓取工具不要将此页面编入索引。用于此目的的标记是：

＆lt; #meta name =“机器人名称”，content =“noindex”＆gt; （删除＃）

OR

＆lt; #meta name =“机器人名称”，content =“follow，noindex”＆gt; （删除＃）

在第二个元标记中，我要求机器人遵循该URL，但不要在搜索引擎中编制索引。

Answer 5

这是我对它们的了解。我说的是他们的工作范围。我们两个都可以用来阻止内容。

两者之间的区别是：

Meta Robot可以阻止单个页面，并在网站的标题中粘贴一些代码。通过使用meta robot标签，我们可以告诉搜索引擎我们正在使用meta标签的功能。
在Robots.txt文件中，您可以屏蔽整个网站。

以下是元机器人的示例：

<meta name="robots" content="index, follow"> 
<meta name="robots" CONTENT="all">
<meta name="robots" content="noindex, follow">
<meta name="robots" content="noindex, nofollow">
<meta name="robots" content="index, nofollow" />
<meta name="robots" content="noindex, nofollow" />

以下是Robots.txt文件的示例：

允许搜寻器搜寻所有网站

user-agent: *
Allow:
Disallow:

不允许搜寻器搜寻所有网站

user-agent: *
Allow:
Disallow:/

Answer 6

我可能会在robots.txt标记上使用meta。 Robots.txt已经存在了很长时间，可能会得到更广泛的支持（但我并不是100％肯定）。

至于第二部分，我认为大多数蜘蛛会采取任何对页面最严格的设置 - 如果robots.txt和meta标签之间存在差异。

Answer 7

Robots.txt适用于消耗大量抓取预算的网页，例如内部搜索或具有无限组合的过滤器。如果您允许Google为yoursite.com/search=lalalala编制索引，则会浪费您的预算。

Answer 8

meta是优越的。

为了从搜索引擎索引中排除单个页面，noindex元标记实际上优于robots.txt。

Answer 9

你想在robots meta tag而不是robots.txt中使用'noindex，follow'，因为它会允许链接汁通过。从SEO的角度来看，它更好。

Answer 10

使用元标记*或robots.txt文件来通知蜘蛛网/爬虫包含或排除页面是否更好？

答案：两者都很重要，它们用于不同的目的。漫游器文件用于从蜘蛛索引中包含或排除页面或根文件。同时，使用元标记来分析网站页面，该页面定义了页面中的利基和内容。

同时使用元标记和robots.txt是否有问题？

答案：两者都应在网站上实施，以便搜索引擎爬虫/抓取工具可以索引或取消索引网站网址。

在此处了解有关搜索引擎蜘蛛工作的更多信息>> https://www.playbuzz.com/alexhuber10/how-search-and-spider-engines-work

Answer 11

你可以拥有任何一个，但如果你的网站有足够的网页，那么robots.txt很容易，并且会降低时间复杂度

元标记与robots.txt

11 个答案:

两者之间的区别是：

以下是元机器人的示例：

以下是Robots.txt文件的示例：