Question

我有一个项目将填写每个解析函数。我希望在完成解析后返回更新的项目。这是我的情景：

我的项目类：

class MyItem(Item):

    name = Field()
    links1 = Field()
    links2 = Field()

登录后我有多个网址要抓取：

在解析函数中，我正在做：

for url in urls:
    yield Request(url=url, callback=self.get_info)

在get_info中，我将在每个响应中提取“名称”和“链接”：

item = MyItem()
item['name'] = hxs.select("//title/text()").extract()
links = []
link = {}
for data in json_parsed_from_response:
    link['name'] = data.get('name')
    link['url'] = data.get('url')
    links.append(link)
item['links1] = links

#similarly, item['links2'] is created.

现在，我想通过每个项目['links1]和item ['links2']中的每个url（这些循环在get_info中）：

for link in item['links1']:
    request = Request(url= link['url'], callback=self.get_status)
    request.meta['link'] = link
    yield request

for link in item['links2']:
    request = Request(url= link['url'], callback=self.get_status)
    request.meta['link'] = link
    yield request

 # Where do I return item, can't return item inside generator

def get_status(self, response):

    link = response.meta['link']
    if "good" in response.body:
        link['status'] = 'good'
    else:
        link['status'] = 'bad'

    # Changes made here, will be reflected in item? 
    # Also, I can't return item from here. Multiple items will be returned.

我无法弄清楚必须返回item的位置，它应该包含所有更新的数据。

Answer 1

很抱歉，除非您提供更多详细信息，否则我无法理解您的代码设计，因此我无法帮助...我最好的建议是创建一个* MyItem <列表/ em> * s并将您创建的每个项目附加到该列表。值应在更改时更改。因此，您应该能够遍历列表并查看更新的项目。

修改多个解析函数中的项并返回更新项？

1 个答案: