Question

我正在关注“The Bastards Book of Ruby”，我正在尝试使用nokogiri构建一个webscraper，但是当我尝试运行代码时，大约四分之一的内容会抛出错误：

Crawler.rb:6:in `mkdir': No such file or directory @ dir_s_mkdir - data-hold/nobel (Errno::ENOENT)
from Crawler.rb:6:in `<main>'

我的代码如下：

require 'rubygems'
require 'nokogiri'
require 'open-uri'

DATA_DIR = "data-hold/nobel"
Dir.mkdir(DATA_DIR) unless File.exists?(DATA_DIR)

BASE_WIKIPEDIA_URL = "http://en.wikipedia.org"
LIST_URL = "#{BASE_WIKIPEDIA_URL}/wiki/List_of_Nobel_laureates"

HEADERS_HASH = {"User-Agent" => "Ruby/#{RUBY_VERSION}"}

page = Nokogiri::HTML(open(LIST_URL))
rows = page.css('div.mw-content-ltr table.wikitable tr')

rows[1..-2].each do |row|

  hrefs = row.css("td a").map{ |a| 
    a['href'] if a['href'] =~ /^\/wiki\// 
  }.compact.uniq

  hrefs.each do |href|
    remote_url = BASE_WIKIPEDIA_URL + href
    local_fname = "#{DATA_DIR}/#{File.basename(href)}.html"
    unless File.exists?(local_fname)
      puts "Fetching #{remote_url}..."
      begin
        wiki_content = open(remote_url, HEADERS_HASH).read
      rescue Exception=>e
        puts "Error: #{e}"
        sleep 5
      else
        File.open(local_fname, 'w'){|file| file.write(wiki_content)}
        puts "\t...Success, saved to #{local_fname}"
      ensure
        sleep 1.0 + rand
      end  # done: begin/rescue
    end # done: unless File.exists?

  end # done: hrefs.each
end # done: rows.each

我真的不知道为什么它没有创建一个新的目录来存储数据。我知道我必须遗漏一些非常简单的东西......

Answer 1

我最好的猜测是，“数据保持/诺贝尔”不仅不存在，“数据保持/”也不存在。由于mkdir不会递归地创建您要创建的目录的所有父目录，因此会引发错误。

要解决此问题，您可以使用FileUtils.mkdir_p，它会创建所有父目录。

在使用include fileutils之前务必mkdir_p。

RUBY（Errno :: ENOENT），没有这样的文件或目录@dir_s_mkdir

1 个答案: