这是我的脚本代码:
<script type="text/javascript" src="//example.com/js/infolinks_main.js"></script>
我想让抓取工具不要关注或索引example.com/js/infolinks_main.js
。
我该怎么做这个任务?我的root中有robots.txt,但该URL是外部URL。
注意:我不想使用iframe
。
答案 0 :(得分:1)
script
元素不能包含rel
属性,因此无法使用nofollow
。即使可以使用它,也请注意nofollow
is not about disallowing bots to crawl/index the URL。
要禁止抓取脚本,您必须使用robots.txt:
User-agent: *
Disallow: /js/infolinks_main.js
或者,如果您想禁止抓取所有脚本:
User-agent: *
Disallow: /js/
您必须使用托管脚本的主机的robots.txt文件。它不一定是托管HTML文档的主机。
(请注意,这不会禁止索引脚本。如果您想禁止索引,you can use the X-Robots-Tag
header的值为noindex
,那么您必须允许抓取由于脚本通常不会被通用搜索引擎编入索引,因此您可能希望阻止抓取而不是索引。)
答案 1 :(得分:0)
rel = nofollow仅适用于超链接,将其添加到任何其他类型的元素都没有意义。
如果您的脚本创建链接,您可以编辑脚本以确保它们使用rel = nofollow属性执行此操作;但考虑到谷歌机器人在阅读页面时没有执行脚本,这样做并没有真正的意义。