Question

我正在抓取一个包含课程信息的网页。该页面还包含指向评估页面的链接，每年一个，因此存在 1对N关系。我有一个解析主页面的方法和一个解析评估页面的方法。第一种方法为找到的每个链接调用第二种方法。

我的问题是，我应该在哪里返回Item对象？

def parse_course(self, response):
    hxs = HtmlXPathSelector(response)
    main_div = select_single(hxs, '//div[@class = "CourseViewer"]/div[@id = "pagecontents"]')
    course = CourseItem()
    # here I scrape basic info about the item
    self.process_heading(main_div, course)
    grades_table = select_single(hxs, '//td[@class = "ContentMain"]//table[contains(tr/td/b/text(), "Grades")]')
    grade_links = grades_table.select('tr[2]/td[2]/a/@href').extract()
    for link in grade_links:
        yield Request(link, callback = self.parse_grade_dist_page, meta = {'course' : course})

def parse_grade_dist_page(self, response):
    course = response.meta['course']
    # scrape additional data and store it in CourseItem

Answer 1

有很多方法，这里有几个：

您可以跟踪所做的请求，并在最后一次请求时返回该项目。这可能很难，因为您必须在请求失败时处理这种情况。
您可以以线性方式一个接一个地执行每个请求。此外，您还必须在请求失败时处理此案例并继续处理其他案例。

您可以使用scrapy-inline-requests：

@inline_requests
def parse_course(self, response):

    # ...

    for link in grade_links:
        try:
            response = yield Request(link)
        except Exception as e:
            # handle the exception here
            pass
        else:
            # extract the data here
            pass

     # at the end yield the item

Scrapy - 合并源自单页的N页的结果

1 个答案: