我正在尝试填写此在线表单,以便转到我的网络抓取项目的下一组网页。但是,它需要填写一个表格,当我尝试使用scrapy填写此表格时,出现以下错误:表格字段不存在。
当我进入查看页面源时,表单字段不存在,但是当我使用inspect元素时,表单字段在那里。这意味着表单正在动态加载。
import scrapy
from scrapy.http import FormRequest
from scrapy.spiders import Spider
import requests
class InsuranceSpider(Spider):
name = 'Insurance'
rotate_user_agent = True
start_urls = ['https://termlife.policybazaar.com/utm_expid=.6JJVM9m0Q
cmm4qXpREX97w.1&utm_referrer=&utm_content=home_v5']
def parse(self,response):
title = response.css('title').extract()
data = {
'gender':'1',
'mobileNo':'9876543210',
'dob':'20-02-1967',
'name':'abc xyz',
'otherCountryCode': '91',
}
print(response.body)
FormRequest.from_response(response,data,callback=self.done)
def done(self):
print("done")
您可以单击链接以查看我要抓取的网站。此外,print(response.body)也不会显示form标签。那我应该如何将数据传递到表单中?