Magento网站抓取问题 - 由于此网站的robots.txt无法获得此结果的说明

时间:2017-01-19 02:20:51

标签: magento meta-tags robots.txt

我正在使用此网站以及一些方法(我不知道原因)Google停止抓取主页网址(http://www.indusuno.com/),同时在Google中查看此网站显示(此结果的说明)由于此网站的robots.txt不可用了解更多信息。我正在附上快照。

并且index.php也会进入网站上的任何一个搜索网址。 之前我们已经从robots.txt中阻止了index.php,但现在允许这样做。 (indusunocom / robots.txt的)

请帮我解决这个问题。

enter image description here

0 个答案:

没有答案