标签: django robots.txt
我可以理解,如果我们有一些可从网站访问但与索引无关的页面,那么我想说是禁止从robot.txt文件中访问它,或者如果浏览器本身可以找到它。 但是我认为机器人无法找到添加在urls.py上的页面。 就我而言,除了管理页面,我不会使用任何无用的页面或私有页面。 我真的需要做: Disallow: myAdminpageWhoIsNoLongerAsecret/
Disallow: myAdminpageWhoIsNoLongerAsecret/