我如何在starturl中提供循环?

时间:2018-09-20 07:13:14

标签: web-crawler

a=1964
for yea in range(1964,2018):
  class StackSpider(Spider):
    name = "stack2"
    allowed_domains = ["melon.com","youtube.com"]
    global n
    start_urls = ['https://www.melon.com/chart/age/list.htm?chartType=YE&chartGenre=KPOP&chartDate='+str(i),                                    ]

start_urls is https://www.melon.com/chart/age/list.htm? 
chartType=YE&chartGenre=KPOP&chartDate=2017 Only start

变量i也应在下面添加的代码的def中使用。怎么可能?

1 个答案:

答案 0 :(得分:0)

您可以使用start_requests方法代替起始网址。 要详细了解使用此方法的确切方法,建议您访问此link