Question

我想抓取NHL比赛数据。然后，每个匹配项（网址）必须抓取两行。当我抓取一个匹配项（一个URL）时，结果不为空。但是当我取消十场比赛时，结果为空，例如）刮掉了20的16。

import scrapy
from selenium import webdriver
from scrapy.selector import Selector
import time
from nhl.items import NHLItem


class NHL_Spider(scrapy.Spider):
    name='NHL'
    allowed_domains=["nhl.com"]
    start_urls=["https://www.nhl.com/gamecenter/20180%d"%i for i in range(20001,20011)]


    def __init__(self):
        scrapy.Spider.__init__(self)
        self.browser=webdriver.Chrome("/users/박정균/chromedriver")


    def parse(self,response):
        self.browser.get(response.url)   

        self.browser.find_element_by_xpath('//*[@id="gamecenter-index-component__app"]/div[3]/div/div/div[2]/div/nav/ul/li[2]/a').click()

        source=self.browser.page_source
        html=self.browser.find_element_by_xpath('//*').get_attribute('outerHTML')
        selector=Selector(text=html)

        rows = selector.xpath('//*[@class="statistics__season-stats"]/table/tbody/tr')


        for row in rows:
            item=NHLItem()
            item["Team"]=row.xpath('.//*[@class="media-heading small"]/text()')[0].extract()
            item["Shots"]=row.xpath('./td[2]/text()')[0].extract()
            item["FO"]=row.xpath('./td[3]/text()')[0].extract()
            item["PP"]=row.xpath('./td[4]/text()')[0].extract()
            yield item

调试：已爬网（200）https://www.nhl.com/gamecenter/wsh-vs-pit/2018/10/04/2018020007>（引荐来源：无）

这是cmd结果。

csv ex）wsh，30,15％坑，42,40％<-----这是我的愿望

    wsh,30,15%
    (empty)      <-----this is my result

不抓取所有结果

0 个答案: