我有动态创建的页面，可以有任何名称。
www.example.com/pages/
www.example.com/pages/dynamicpage1/
www.example.com/pages/dynamicpage2/
我想要抓取第一个网页页面，而不是任何动态网页
User-agent: *
Disallow: /pages/*
以上将阻止列出的所有三个页面。我如何阻止所有动态页面，而不是第一个URL。
答案 0 :(得分：4)
我想出来了..
User-agent: *
Disallow: /pages/*/
一直发生，在发布后几秒解决问题。