我正在尝试找到一种重定向或编辑ghost robots.txt文件的方法,该文件阻止了网站www版本上的根域。
根域中的漫游器文件与将浏览器指向URL https://www.example.com/robots.txt
时显示的机器人文件不同。但是,在该URL处读取的漫游器文件不存在。
它包含以下代码:
User-agent: *
Disallow: /
Crawl-delay: 5
在https://example.com/robots.txt
找到的文件包含以下代码:
User-agent: *
Disallow: /wp-admin/
Sitemap: https://www.example.com/sitemap.xml
此文件可以编辑,但由于最终的URL解析为网站的www版本,因此它不是抓取工具正在读取的版本。
.htaccess文件包含以下代码:
RewriteEngine On
RewriteCond %{HTTPS} off
RewriteRule ^(.*)$ https://%{SERVER_NAME}%{REQUEST_URI} [R=301,L]
有没有办法识别隐藏的robots.txt文件并编辑其内容或更改htaccess文件以使用可编辑文件代替www域上的阻止文件?