Robots.txt文件

Question

我在robots.txt文件中使用此代码：

User-agent: *

Disallow: 

但是，我的一个竞争对手正在使用

User-agent: *

Disallow: /

他的网站在谷歌和排名第一的表现都很好。但我的网站没有排名。我检查了我网站上的所有内容，没关系。但是我的竞争对手在Google中表现如何？ robots.txt文件不重要吗？

Answer 1

您的网站排名不取决于您的robots.txt文件。您只需告诉谷歌如何抓取您网站上的网页并将其编入索引。

网站所有者使用/robots.txt文件向网络漫游器提供有关其网站的说明;

您的网站排名取决于许多因素，如：

• 关键字用法
• 网站结构
• 网站速度
• 在网站上花费的时间
• 入站链接数
• 入站链接的质量

顺便说一下，这将阻止所有内容的所有网络抓取工具：

User-agent: *
Disallow: /

这将允许所有抓取工具访问所有内容：

User-agent: *
Allow: /

Answer 2

请按照以下步骤操作。

1）

User-agent: *
Disallow: /

添加哪个页面或指示您不想抓取，如果您定位主要导演在其中添加公共/域名以禁止所有

2）我们的网站排名取决于许多因素，例如：＆lt; - 这件事也很好写。

Keyword usage
Site structure
Site speed
Time spent on site
Number of inbound links
Quality of inbound links

3）获取网站来源http://www.robotsgenerator.com/

的帮助

P.S。 ： - 请务必删除robots.txt文件中的网站所有者营销链接。