使用Anemone匹配URL结构

时间:2013-09-04 10:02:15

标签: ruby anemone

现在,我正在使用Anemone进行以下操作:

Anemone.crawl("http://www.findbrowsenodes.com/", :delay => 3) do |anemone|
  anemone.on_every_page do | page |

但我想这样做

Anemone.crawl("http://www.findbrowsenodes.com/", :delay => 3) do |anemone|
   anemone.on_pages_like() do | page |

而只是从这样的网址抓取:

http://www.findbrowsenodes.com/us/Apparel/1036682 http://www.findbrowsenodes.com/us/Apparel/1040664 http://www.findbrowsenodes.com/us/ArtsAndCrafts/2617942011 http://www.findbrowsenodes.com/us/Baby/165797011

任何想法如何?

1 个答案:

答案 0 :(得分:3)

你可以使用像这样的正则表达式

/http:\/\/www.findbrowsenodes.com\/us\/.+\/[\d]*/