我添加了robots.txt文件并添加了一些行以限制某些文件夹。我还添加了限制来使用.htaccess文件访问该robots.txt文件。可以搜索引擎读取该文件的内容吗？
答案 0 :(得分：1)
此文件应可自由阅读。搜索引擎就像您网站上的访问者一样。如果访问者看不到此文件，则搜索引擎也无法看到该文件。
绝对没有理由试图隐藏此文件。
答案 1 :(得分：1)
网络抓取工具需要能够通过HTTP获取您的robots.txt，否则他们将无法解析该文件并尊重您的配置。
答案 2 :(得分：1)
答案是否定的！但最简单和最安全的仍然是尝试：
https://support.google.com/webmasters/answer/6062598?hl=en
robots.txt测试工具会显示您的robots.txt文件 阻止Google网页抓取工具阻止您网站上的特定网址。对于 例如，您可以使用此工具来测试Googlebot-Image是否正常 抓取工具可以抓取您要阻止Google的图片的网址 图片搜索。