Question

我正在使用机械化抓取一些数据。不幸的是，我似乎无法获得它来访问链接并获得所访问页面的页面标题。

这是我的任务：

task :estimateone => :environment do
  require 'mechanize'

  mechanize = Mechanize.new
  page = mechanize.get('https://www.city.com/city/list/50-city-cafes-you-should-have-eaten-breakfast-at')
  page.css('ol li a').each do |link|
   mechanize.click(link).each do |property|
        puts property.title
      end
    end
end

Answer 1

点击链接后，您不需要该块，您已经在一个块中，遍历在“主” URL中找到的每个锚点。

如果单击任何链接，它将返回您指向的页面（锚的href）。之后，您可以看到检查机械变量上的内容：

page.css(<selector>).each do |link|
  mechanize.click(link)
  mechanize

=> #<Mechanize
 ...
 #<Mechanize::Page
  {url #<URI::HTTPS https://www.theurbanlist.com/brisbane/directory/scout-cafe>}
  {meta_refresh}
  {title "Scout Cafe, Petrie Terrace | Brisbane | The Urban List"}
  {iframes

你在那里。现在，机械化为您处理属于当前页面的数据。因此，现在您可以使用其page方法通过机械化来访问其标题和所有其他标题：

page.css('div[itemprop="articleBody"] ol li a').each do |link|
  mechanize.click(link)
  puts "Title: #{mechanize.page.title}"
end

Title: Scout Cafe, Petrie Terrace | Brisbane | The Urban List
Title: Southside Tea Room | Brisbane | The Urban List
Title: Spring Hill Deli Cafe, Spring Hill | Brisbane | The Urban List

请注意，确实不需要使用itemprop属性，但是我建议您添加更具体的CSS规则/选择器以使元素易于识别。

机械化访问链接并获取页面标题

1 个答案: