将字符串(URL)与Array组合在一起

时间:2013-03-25 17:57:19

标签: ruby arrays multithreading nokogiri scrape

我正在试图抓取一些数据。 B是要删除的1000个项目所需的页数 - 每页有22个。

usernum = 1000
b = usernum.to_i/22
Array.new(b) {|b| b+1}

我有一个数组的页数(1000/22 = 45 int。) - [1,2,... 44,45]我需要抓取,每个数组元素都与要下载的页面有关由Nokogiri。我不确定如何继续。

www.google.com&page=1
www.google.com&page=2

等。在这种情况下,它需要达到" www.google.com& page = 45"

是否可以将前缀附加到数组的每个项目?如果是这样,格式化数组并按时间顺序下载每个页面,或者编译外部文本文件中的URL列表并将它们加载到方法中是否有意义?我将尝试添加线程。

1 个答案:

答案 0 :(得分:0)

你可以循环而不是创建数组吗?

(1..b).each do |page|
  url = "http://google.com?page=#{i}"
  # .. fetch the page
end