我遇到了robot.txt文件的问题

时间：2018-01-21 09:18:57

标签： wordpress robots.txt

我正在使用WordPress。 Google不会抓取我网页的所有资源。它显示“页面部分加载”。我已经准备好尝试过多次用robots.txt文件来解决这个问题。我的网站返回错误的网关错误。

这是截图

enter image description here

我的网站链接：https://www.alphaclick.in

我的robots.txt文件 

User-agent:  *
Disallow: /cgi-bin/

Disallow: /wp-admin/

Disallow: /linkout/

Disallow: /recommended/

Disallow: /comments/feed/

Disallow: /trackback/

Disallow: /index.php

Disallow: /xmlrpc.php

User-agent: NinjaBot
Allow: /

User-agent: Mediapartners-Google*

Allow: /

User-agent: Googlebot-Image

Allow: /wp-content/uploads/

User-agent: Adsbot-Google

Allow: /


User-agent: Googlebot-Mobile

Allow: /

Sitemap: https://www.alphaclick.in/sitemap_index.xml
Sitemap: https://www.alphaclick.in/post-sitemap.xml

1 个答案:

答案 0 :(得分：0)

删除此行Disallow: /index.php。它阻止了整个网站的机器人。有关robots.txt文件的更多信息，您可以获得here

相关问题
最新问题