Question

我有一个Scrapy XMLFeedSpider，我试图测试以下parse_node函数：

def parse_node(self, response, selector):
    date = selector.xpath('pubDate/text()').extract_first()
    url = selector.xpath('link/text()').extract_first()               
    if date < self.cutoff_date:  # TEST VALIDITY OF THE DATE
        print "Invalid date"
        self.log("Article %s before crawler start date" % url)
    else:
        print "Valid date"
        yield scrapy.Request(url, self.parse_post)

我试图测试有效和无效日期的功能：

@mock.patch('my_spiders.spiders.myspider.scrapy.Request')               
def test_parse_node(self, scrapy_request):                                      
    scrapy_request.return_value = mock.MagicMock()                              
    self.spider.log = mock.MagicMock()                                          
    mock_response = mock.MagicMock()                                            
    mock_selector = mock.MagicMock()                                            
    date = self.spider.start_date.strftime("%c")                                
    url = "https://google.com"                                                  
    mock_selector.xpath.return_value.extract_first = mock.MagicMock(            
        side_effect=[date, url]                                                 
    )                                                                           
    parsed_node = self.spider.parse_node(mock_response, mock_selector)          
    self.assertEqual(tuple(parsed_node)[0], scrapy_request.return_value)        
    self.spider.log.assert_not_called()                                         
    scrapy_request.assert_called_once_with(url, self.spider.parse_post)         

@mock.patch('my_spiders.spiders.myspider.scrapy.Request')               
def test_parse_node_invalid_date(self, scrapy_request):                         
    scrapy_request.return_value = mock.MagicMock()                              
    self.spider.log = mock.MagicMock()                                          
    mock_response = mock.MagicMock()                                            
    mock_selector = mock.MagicMock()                                            
    date_object = self.spider.start_date - datetime.timedelta(days=1)           
    date = date_object.strftime("%c")                                           
    url = "https://google.com"                                                  
    mock_selector.xpath.return_value.extract_first = mock.MagicMock(            
        side_effect=[date, url]                                                 
    )                                                                           

    parsed_node = self.spider.parse_node(mock_response, mock_selector)          
    # TODO: figure out why this doesn't work                                    
    # self.spider.log.assert_called_once()                                   
    scrapy_request.assert_not_called()

第一个测试test_parse_node按预期运行。问题出在test_parse_node_invalid_date函数上。如果我在parse_node函数中放置一个调试器，它就不会被调用。 print函数也不会被调用。

我怀疑这是yield语句/生成器的某种问题，但无法弄清楚发生了什么。为什么我没有通过parse_node函数进行第二次测试，因为我预计会这样做？

Answer 1

python生成器函数只返回一个迭代器。要实际调试迭代器，我必须通过调用next()方法来启动迭代过程：

parsed_node = self.spider.parse_node(mock_response, mock_selector).next()

我还必须确保每个测试都实例化一个新的生成器，因为生成器只能迭代一次。

然后我可以根据需要单步调试/完成测试。

如何正确测试Scrapy蜘蛛Python生成器功能？

1 个答案: