如何以及在何处将robots.txt文件添加到ASP.net Web应用程序？

Question

我正在使用带有C＃的ASP.net。

为了提高我在谷歌网站的可搜索性，我搜索过＆amp;发现我可以通过使用我的robots.txt来实现，但我真的不知道如何创建它，我在哪里可以将我的标记ASP.net，C#放在我的txt文件中

另外，请告诉我将其包含在我的申请中的必要步骤。

Answer 1

robots.txt是根文件夹中的一个文本文件，用于为搜索机器人设置某些规则，主要是要访问的文件夹和不访问的文件夹。您可以在此处详细了解：http://www.robotstxt.org/robotstxt.html

Answer 2

robots.txt文件位于您网站的根目录下，用于控制允许搜索蜘蛛进入的位置，例如，您可能不希望它们位于/js文件夹中。像往常一样，维基百科有一个很棒的write up

我认为您可能会发现SiteMaps更有用。这是您生成的XML文件，代表您网站的内容。然后将其推送到主搜索引擎。虽然谷歌已经开始实施所有主要搜索引擎，但现在已经同意遵循标准架构。

一般来说，提高您的Google分数和搜索引擎优化并不是我所了解的。这对我来说听起来像黑色艺术:)虽然看看IIS SEO Toolkit，它可能会提供一些指示。

Answer 3

大多数搜索引擎会将您的网站编入索引，除非一个robots.txt告诉它不要。换句话说，robots.txt通常用于从您的网站排除机器人。