我们真的需要Django的robot.txt吗?

时间:2020-08-06 04:02:44

标签: django robots.txt

我可以理解,如果我们有一些可从网站访问但与索引无关的页面,那么我想说是禁止从robot.txt文件中访问它,或者如果浏览器本身可以找到它。
但是我认为机器人无法找到添加在urls.py上的页面。
就我而言,除了管理页面,我不会使用任何无用的页面或私有页面。
我真的需要做:
Disallow: myAdminpageWhoIsNoLongerAsecret/

0 个答案:

没有答案