我们目前正在为一个anguar网站(site.com)使用prerender。但是我们遇到了问题。
当我们在Google上运行site:site.com时,很多搜索结果链接都显示如下:
site.com?ref=adirtyurl.com
我们如何防止这种情况出现在谷歌?
我已将此添加到我的robots.txt文件中,但如果这些垃圾邮件发送者开始使用不同的参数呢?我想尝试限制这个完整的
User-agent: *
Disallow: /*?ref=*
答案 0 :(得分:0)
我最终编写了一些重写规则,除了允许的参数外,它返回错误404:
<rule name="BlockUrlParams" patternSyntax="ECMAScript" stopProcessing="true">
<match url="(.*)" />
<conditions>
<add input="{QUERY_STRING}" pattern="^(?!.*\b_escaped_fragment_\b)" />
<add input="{REQUEST_URI}" pattern="\?" />
</conditions>
<action type="CustomResponse" statusCode="404" statusReason="File or directory not found." statusDescription="The resource you are looking for might have been removed, had its name changed, or is temporarily unavailable." />
</rule>