公共子文件夹中的rails 404错误

Question

它找我爬虫试图解析所有公共文件夹子文件夹的索引，如“/ images / foo”，这会产生404错误。我应该做些什么还是这是正常的？

Answer 1

在robots.txt

中

Disallow: /images/foo

尽量让抓取工具远离他们不需要的任何东西，以使他们专注于您需要的东西。