如何告诉搜索引擎使用我更新的robots.txt文件？

Question

之前，我曾阻止搜索引擎机器人阻止使用robots.txt文件抓取我的网站，但现在我想取消对它们的阻止。

我更新了robots.txt文件，并允许搜索引擎机器人抓取我的网站，但似乎搜索引擎仍在使用旧的robots.txt文件，如何告诉搜索引擎使用新的robots.txt文件？还是我的robots.txt文件有问题？

旧的robots.txt文件的内容：

User-agent: *
Disallow: /

我新的robots.txt文件的内容：

User-agent: *
Allow: /

# Disallow these directories, url types & file-types
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-
Disallow: /cgi-bin
Disallow: /readme.html
Disallow: /license.txt
Disallow: /*?*
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*/wp-*
Disallow: /*/feed/*
Disallow: /*/*?s=*
Disallow: /*/*.js$
Disallow: /*/*.inc$

Allow: /wp-content/uploads/

User-agent: ia_archiver*
Disallow: /

User-agent: duggmirror
Disallow: /

Sitemap: https://example.com/sitemap.xml

Answer 1

每个搜索引擎都需要独立完成，否则可能会随着时间的流逝而发生。对于Google，请使用Google Search Console工具。这将允许您上传新的robots.txt并提交以进行重新抓取。