Scrapy python改变url

时间:2014-05-31 12:48:18

标签: python json scrapy

我正试图抓住有关医生的信息。我有以下网址,但我想继续更改网址的UserID = 99并保存信息。我不知道如何把类似循环的内容不断更改网址中的用户ID以及何时更改 scrapy crawl sch -o items.json -t json它将所有内容保存到一个JSON文件中。

class DmozSpider(Spider):
    name = "sch"
    allowed_domains = ["qchp.org.qa/en/"]
    start_urls = [
        "http://www.qchp.org.qa/en/_layouts/SCH_Website/PractitionerDetails.aspx?UserID=990&IsDlg=1"
    ]

1 个答案:

答案 0 :(得分:0)

假设您要将UserID=990中的奇数替换为1,而不是100。然后做:

start_urls = []

for i in range(1, 100):
    if i % 2 == 1:
        start_urls.append("http://www.qchp.org.qa/en/_layouts/SCH_Website/PractitionerDetails.aspx?UserID=" + str(i) + "&IsDlg=1")