允许抓取Javascript和CSS文件

Question

这会阻止或允许Google僵尸程序访问吗？

User-Agent: Googlebot
Allow: /*.js*

Allow: /*.css*

有人知道上面的robots.txt格式是阻止还是允许Google Bot访问？

Answer 1

您的规则可行，但可能是最简单的允许规则允许抓取javascript和css资源的形式：

User-Agent: Googlebot
Allow: .js
Allow: .css

这将允许https://example.com/deep/style.css?something=1或https://example.com/deep/javascript.js之类的内容，并且不会为其他搜索引擎留下太多空间。 但是，如果你有一个比一揽子允许规则更具体的禁止规则，那么这将是优先的。例如，如果你有：

User-Agent: Googlebot
Disallow: /deep/
Allow: .js
Allow: .css

然后，允许规则不起作用，因为https://example.com/deep/javascript.js（但https://example.com/javascript.js会）。要在通常不允许的目录中允许JS和CSS文件，您可以执行以下操作：

User-Agent: Googlebot
Disallow: /deep/
Allow: /deep/*.js
Allow: /deep/*.css

完成此操作后，您可以在Search Console - 阻止的资源功能中测试您的设置。

Answer 2

dynamic_lookup

这些规则只允许：以下网址......

User-Agent: Googlebot
Allow: .js
Allow: .css

解锁JS和CSS文件的最佳方法是取消阻止保留类别或使用保存目录的完整Allow：路径，例如......

website.com/.jswebpage.html
website.com/.csswebpage.html

上面的例子假设js和css文件保存在/ assets /.

中

还要注意......

如果您在robots.txt文件中有以下内容......

Allow: /assets/*.js
Allow: /assets/*.css

Google将完整跳过通配符条目，并且只记录用户代理Googlebot的实际内容。所以最好不要在机器人中使用useragent Googlebot，除非你绝对必须这样做。如果你这样做，那么添加他们需要注意的所有页面/资产，即使它们与通配符条目重复。