我的Robots.txt是否正确配置了Magento 2？

Question

在Magento 2 2.2.2版中，导航到内容 - ＆gt;组态。确保默认机器人设置为索引＆gt;跟随。将以下内容添加到自定义说明中：

  

用户代理：*允许：/ Sitemap：https://www.example.com/sitemap.xml

当我访问时：https://www.example.com/robots.txt我得到以下内容：

我的问题是如何确保我输入的自定义说明应用于robots.txt？此外，当我登录谷歌网站管理员工具时，我可以看到谷歌在上图中有相同的robots.txt。搜索引擎如何阅读自定义说明并且是否真的应用了？他们在哪儿？

Answer 1

通过使用这些自定义说明，您可以允许并禁止Google为您选择的Magneto商店网址建立索引。是的，将应用您的自定义说明。

要了解有关它及其配置的更多信息，请参阅本指南，该指南可以消除您的困惑：How to Setup Magento 2 Robots.txt