我正试图抓住有关医生的信息。我有以下网址,但我想继续更改网址的UserID = 99并保存信息。我不知道如何把类似循环的内容不断更改网址中的用户ID以及何时更改
scrapy crawl sch -o items.json -t json
它将所有内容保存到一个JSON文件中。
class DmozSpider(Spider):
name = "sch"
allowed_domains = ["qchp.org.qa/en/"]
start_urls = [
"http://www.qchp.org.qa/en/_layouts/SCH_Website/PractitionerDetails.aspx?UserID=990&IsDlg=1"
]
答案 0 :(得分:0)
假设您要将UserID=990
中的奇数替换为1
,而不是100
。然后做:
start_urls = []
for i in range(1, 100):
if i % 2 == 1:
start_urls.append("http://www.qchp.org.qa/en/_layouts/SCH_Website/PractitionerDetails.aspx?UserID=" + str(i) + "&IsDlg=1")