隐藏的robots.txt文件阻止www版网站上的根域,可能的htaccess修复

时间:2018-03-23 11:28:27

标签: .htaccess robots.txt

我正在尝试找到一种重定向或编辑ghost robots.txt文件的方法,该文件阻止了网站www版本上的根域。

根域中的漫游器文件与将浏览器指向URL https://www.example.com/robots.txt时显示的机器人文件不同。但是,在该URL处读取的漫游器文件不存在。

它包含以下代码:

User-agent: *
Disallow: /
Crawl-delay: 5

https://example.com/robots.txt找到的文件包含以下代码:

User-agent: *
Disallow: /wp-admin/

Sitemap: https://www.example.com/sitemap.xml

此文件可以编辑,但由于最终的URL解析为网站的www版本,因此它不是抓取工具正在读取的版本。

.htaccess文件包含以下代码:

RewriteEngine On
RewriteCond %{HTTPS} off
RewriteRule ^(.*)$ https://%{SERVER_NAME}%{REQUEST_URI} [R=301,L]

有没有办法识别隐藏的robots.txt文件并编辑其内容或更改htaccess文件以使用可编辑文件代替www域上的阻止文件?

0 个答案:

没有答案