如何解释该robots.txt文件？

Question

我正在看这个robots.txt。

我怎么知道可以删除网站的哪一部分？可以废弃此page吗？

Answer 1

机器人不允许您要求输入“ https://www.marketscreener.com/BANK-OF-AMERICA-11751/”的页面。机器人文件的读取内容为：

[[{} {124}]
 [{} {}]]

仍然需要确保您不会击中任何可能在ajax调用或图像src中包含的内容。另外，您还应确保遵守机器人的基本规则，即对页面的请求数和特定版权。