Question

我想在robots.txt中禁止访问我网站上的搜索链接。

点击搜索提交按钮后，我的网址将如下所示：

example.com/searching?k=something

如何将此URL地址写入robots.txt文件？

我的robots.txt文件如下所示：

User-agent: *
Disallow: /admin_folder
Sitemap: https://www.domain-address.com/sitemap.xml
Host: www.domain-address.hu

function search_k()
{
    if($.trim($('#country_id').val()) != "" )
    {
        //document.location = http_host+'/kereses.php?k='+$('#country_id').val();
        var KeyWord = encodeURIComponent($('#country_id').val()).replace(/%20/g, '+');
        document.location = http_host+'/searching?k='+KeyWord;
    }
    return false;
}

Answer 1

如果您要禁止合规漫游器以/searching开头抓取您网站上的所有网址，则只需在其他robots.txt命令之后向您的Disallow文件中添加另一个排除对象：

Disallow: /searching

有关格式的更多详细信息，请阅读有关the de-facto standard that most crawlers adhere to。

的更多信息

禁止使用机器人文件

1 个答案: