Question

目前我的django项目有以下结构。

./
../ 
app1/
app2/
django_project
manage.py
media
static
secret_stuff

我的robots.txt看起来像这样：

User-agent: *
Allow: /
Sitemap: mysite.com/sitemaps.xml

我想了解以下事项：

我应该向robots.txt添加哪些建议指令文件，因为django文档对此主题一无所知。

如何阻止机器人到达（索引）内容 secret_stuff和mysite.com/admin/目录？

  Disallow: /secret_stuff      (Is that okay ?)
  Disallow: /admin            (Is that okay ?)

Answer 1

机器人指令与Django框架无关，这就是为什么你在Django docs中找不到任何关于它的信息。通常情况下，由您决定允许以及在您的网站上搜索不允许的内容。

有多种方法可以将robots.txt包含在Django项目中。我个人使用 django-robots 应用程序，这简化了将robots.txt嵌入到项目中的方式。

没有必要在每个项目中使用它。如果你发现它更简单，你可以自己渲染txt文件。

我对Django项目的简化robots.txt看起来像：

User-agent: *
Disallow: /*.pdf
Disallow: /*.ppt
Disallow: /*.doc
Disallow: /*.xls
Disallow: /*.txt

User-agent: Yandex
Allow: /events
Allow: /contests
Allow: /schools
Disallow: /admin
Crawl-delay: 3

User-agent: Googlebot
Allow: /events
Allow: /contests
Allow: /schools
Disallow: /admin
Crawl-delay: 3

Host: https://mysite.ru
Sitemap: https://mysite.ru/sitemap.xml

Django应用程序中robots.txt的推荐指令是什么？

1 个答案: