如何用一行阻止robot.txt中的多个链接？

Question

我有很多页面，其链接如下：

http://site.com/school_flower/
http://site.com/school_rose/
http://site.com/school_pink/

等。 我无法手动阻止它们。 我怎么能阻止这种类型的页面，而我有数百个以上类型的链接，并不想为每个链接写每一行。

Answer 1

你不能。

robots.txt是一种非常简单的格式。但是您可以创建一个可以为您生成该文件的工具。这应该相当容易，如果你有一个要阻止的URL列表，每行一个，你只需要在每一行前加Disallow:。

那就是说，你要阻止许多网址的事实是一个警报。可能你做错了什么。你可以问一个关于你的最终目标的问题，我们会给你一个更好的解决方案。

Answer 2

继续发表评论：

user-agent: *
Disallow: /folder/

当然，您必须将您不希望机器人访问的所有文件放在一个目录下，除非您通过Disallow: /阻止整个网站

在回应你的评论时，kirelagin提供了正确答案。