Question

我们有一个基于Ruby on Rails的网站，与Apache反向代理。所以网站的根文件夹是/ var / www / html / digiryte，文件夹结构与此类似

/var/www/html/
    rails_website/
    folder1/
    folder2/
    index.html

问题是谷歌的网站管理员控制台显示网址抓取错误，如

/html/rails_website/public/assets/...

这怎么可能？
如何阻止谷歌索引这些文件夹？

Answer 1

您可以使用robot.txt禁止您不会被编入索引的文件夹

User-agent: *
Disallow: /rails_website/