Google忽略了新的robots.txt文件 - 无法在SERP中显示信息

Question

我正在运营丹麦航班搜索引擎。我以前设置了一个有缺陷的robots.txt文件，最终删除了我网站的大部分标题标签和说明。

现在我已经将robots.txt修复为：

# Robots file for www.billigeflybilletter.dk
User-Agent: *
Disallow: /wp-admin/
Disallow: /hoteller
Allow: /wp-admin/admin-ajax.php
Allow: /flyforsinkelse/

然而，非常重要的页面https://www.billigeflybilletter.dk/flyforsinkelse/仍在索引中显示：

丹麦为＃34; nope＆＃34;。

我可能在这里做错了什么？

robots.txt文件可以访问非HTTP和非HTTPS。

Answer 1

使用您当前的robots.txt，可以抓取相关网页。

您不需要行Allow: /flyforsinkelse/，因为默认情况下允许抓取所有内容（未明确禁止）。

在接下来的一次Googlebot抓取您网站上的某些内容时，它会抓取您的robots.txt，了解它现在可以比以前更多地抓取，然后在某些时候抓取“新”页面（如果它可以找到它的链接）。这可能需要几分钟，几小时，几天或几周。