Question

我正在尝试构建一个网络爬虫，并遇到了一些障碍。基本上我正在做的是从网页中提取链接并将每个链接推送到队列。只要Ruby解释器遇到这部分代码：

links.each do |link|
  url_frontier.push(link)
end

我收到以下错误：

/home/blah/.rvm/rubies/ruby-1.9.3-p0/lib/ruby/1.9.1/net/protocol.rb:141:in `read_nonblock': end of file reached (EOFError)

如果我注释掉上面的代码块，我就没有错误。请，任何帮助将不胜感激。以下是代码的其余部分：

require 'open-uri'
require 'net/http'
require 'uri'

class WebCrawler
  def self.Spider(root)
    eNDCHARS = %{.,'?!:;}
    num_documents = 0
    token_list = []
    url_repository = Hash.new
    url_frontier = Queue.new

    url_frontier.push(root.to_s)
    while !url_frontier.empty? && num_documents < 10
    url = url_frontier.pop
      if !url_repository.has_key?(url)
        document = open(url)
        html = document.read

        # extract url's
        links = URI.extract(html, ['http']).collect { |u| eNDCHARS.index(u[-1]) ? u.chop : u }

        links.each do |link|
          url_frontier.push(link)
        end

        # tokenize
        Tokenizer.tokenize(document).each do |word|
          token_list.push(IndexStructures::Term.new(word, url))
        end

        # add to the repository
        url_repository[url] = true
        num_documents += 1
      end
    end

    # sort by term (primary) and document id (secondary) in reverse to aid in the    construction of the inverted index
    return num_documents, token_list.sort_by! { |term| [term.term, term.document_id]}.reverse!
  end
end

Answer 1

我遇到了同样的错误，但是使用Watir-webdriver，在无头模式下运行firefox。我发现的是，如果我并行运行我的两个应用程序并且我在其中一个应用程序中销毁“无头”，它会自动杀死另一个应用程序并引用您引用的确切错误。虽然我的情况与您的情况不一样，但我认为问题与您的应用程序仍在使用时过早关闭文件句柄有关。我从我的应用程序中删除了destroy命令，错误消失了。

希望这有帮助。

带有open-uri和loop的Ruby EOFError

1 个答案: