抓不进解析(response.url)

时间:2019-02-13 16:56:56

标签: selenium parsing scrapy web-crawler

我是初学者。搜寻时,没有错误代码,但是scrapy不会在解析中输入response.url。即,该页面是标题为“数据”的空白页面。 如何输入repsonse.url?

import scrapy
from selenium import webdriver
from scrapy.selector import Selector
import time

from result_crawler.items import RESULT_Item

class RESULT_Spider(scrapy.Spider):
    name="EPL"
    allowed_domains=["premierleague.com"]
    starts_urls=["https://www.premierleague.com/match/38567"]

    def __init__(self):
        scrapy.Spider.__init__(self)
        self.browser=webdriver.Chrome("/users/germpark/chromedriver")

    def parse(self,response):
        self.browser.get(response.url)
        time.sleep(5)
.
.
.

我想输入https://www.premierleague.com/match/38567,但结果不存在。

1 个答案:

答案 0 :(得分:0)

正确的属性名称是start_urls而不是starts_urls。由于属性名称不正确,因此无法检测到任何起始页。