如何停止抓取jomres中的特定页面?

时间:2016-06-06 06:05:17

标签: seo web-crawler jomres

如何在jomres中停止针对此页面https://www.example.com/index.php/en/component/jomres/?Itemid=0&task=search&page=1&towns%5B0%5D=calangute停止Google抓取,是否可以在robot.txt文件或任何其他解决方案中执行此操作?

1 个答案:

答案 0 :(得分:0)

是的,您可以通过添加以下行

来浏览此页面的robots.txt
Disallow : /index.php/en/component/jomres/?Itemid=0&task=search&page=1&towns%5B0%5D=calangute 

以上行只会阻止此页面,如果你想用上述参数阻止所有页面,请使用这一页

Disallow : /index.php/en/component/jomres/?Itemid=*&task=*&page=*&towns%5B0%5D=*

这里我们将动态值更改为星号*,您可以根据需要和任何特定情况自定义它。