Question

我想使用循环来连续爬网和更新数组值，因为我需要单击某个按钮来获取数组的下一个值。但是，似乎循环内的yield充当并行线程，并且该项目多次被屈服。我想要的是循环遍历，仅一次更新数据并生成项。例：当前输出：

{'field1': 'data1',
 'filed2' : 'data2',
 'field3' : ['data31']}

{'field1': 'data1',
 'filed2' : 'data2',
 'field3' : ['data32']}

{'field1': 'data1',
 'filed2' : 'data2',
 'field3' : ['data33']}

预期：

{'field1': 'data1',
 'filed2' : 'data2',
 'field3' : ['data31', 'data32', 'data3']}

这是我的代码

def parse_individual_listings(self, response):
     ...
     data = {}
     data[field1] = 'data1'
     data[field1] = 'data2'
     ...
     for i in range(3):
         yield scrapy.Request(
                urlparse.urljoin(response.url, link['href']), #different link
                callback=self.parse_individual_tabs,
                meta={'data': data, 'n':i};
         )
def parse_individual_tabs(self, response):
     data = response.meta['data']
     i = response.meta['i']
     ...
     # keep populating `data`
     data[field3][i] = "data3[i]"  #this value change when I click a button to update
     yield data

Answer 1

尝试使用inline_requests库（https://pypi.org/project/scrapy-inline-requests/）。它使您可以在同一函数内发出请求。将数据收集到一个对象而不是产生不同的对象很有用。使用一些伪代码检查此示例：

from inline_requests import inline_requests
from scrapy import Selector

@inline_requests
def parse_individual_listings(self, response):
    ...
    data = {}
    data[field1] = 'data1'
    data[field1] = 'data2'
     ...
    for i in range(3):
        extra_req = yield scrapy.Request(
            response.urljoin(link['href']), #different link
        )
        # apply your logics here, say extract some data
        sel = Selector(text=extra_req.text)
        data['field3'].append(sel.css('some css selector').get())
    yield data

搜寻器将数据更新到数组，并在循环内产生

1 个答案: