Question

我在linux服务器上有一个网站（Django），但Google根本没有找到该网站。我知道我的服务器上没有robots.txt文件。有人能告诉我如何创建一个，在里面写什么以及在哪里放置它？那将是一个很大的帮助！

Answer 1

机器人txt不适合谷歌找到你的网站。我认为您必须将您的网站注册到谷歌并添加sitemap.xml

网站管理员工具 - 抓取网址 - ＆gt; https://www.google.com/webmasters/tools/submit-url?continue=/addurl&pli=1

也可以看到robot.txt

将robots.txt添加到Django项目的三种方法fredericiana - ＆GT; http://fredericiana.com/2010/06/09/three-ways-to-add-a-robots-txt-to-your-django-project/

什么是robot.txt

当搜索引擎经常访问您的网站并为您的内容编制索引时，这是很棒的，但通常情况下，您的在线内容的部分索引不符合您的要求。例如，如果您有一个页面的两个版本（一个用于在浏览器中查看，一个用于打印），则您宁愿将打印版本排除在爬行之外，否则您可能会面临重复的内容惩罚。此外，如果您的网站上碰巧有您不希望世界看到的敏感数据，您也会更喜欢搜索引擎不会将这些页面编入索引（尽管在这种情况下，不对索引敏感数据的唯一可靠方法是使其在单独的机器上脱机）。此外，如果您想通过从索引中排除图像，样式表和javascript来节省一些带宽，您还需要一种方法来告诉蜘蛛远离这些项目。

告诉搜索引擎网站上哪些文件和文件夹要避免的一种方法是使用机器人元标记。但是，由于并非所有的搜索引擎都能读取元标记，因此机器人matatag可以简单地被忽视。告知搜索引擎您的意愿的更好方法是使用robots.txt文件。

来自什么是Robots.txt - ＆gt; http://www.webconfs.com/what-is-robots-txt-article-12.php

Answer 2

robot.txt文件用于告诉搜索引擎哪些内容应该或不应该被编入索引。 robot.txt文件绝不需要由搜索引擎索引。

有很多关于被搜索引擎索引的注意事项。

无法保证您将被编入索引
索引需要时间，一个月，两个月，六个月
要快速编制索引，请尝试通过博客评论等分享指向您网站的链接，以增加被发现的机会。
通过http://google.com/webmasters网站提交您的网站，这也将为您提供提示和提示，以使您的网站更好，以及抓取统计数据。

Answer 3

robots.txt的位置与view.py和此代码相同

在视图中

 def robots(request):      
        import os.path
        BASE = os.path.dirname(os.path.abspath(__file__))
        json_file = open(os.path.join(BASE , 'robots.txt'))    
        json_file.close() 
        return HttpResponse(json_file);

在网址

 (r'^robots.txt', 'aktel.views.robots'),

是否将我的Django应用程序中的robots.txt添加到Google上市的方式？

3 个答案: