当我尝试使用scrapy输入表单数据时,出现“ raise ValueError(“在%s中找不到<form>元素”“%response”)错误

时间:2019-06-10 07:44:33

标签: python html web-scraping scrapy

我正在尝试填写此在线表单,以便转到我的网络抓取项目的下一组网页。但是,它需要填写一个表格,当我尝试使用scrapy填写此表格时,出现以下错误:表格字段不存在。

当我进入查看页面源时,表单字段不存在,但是当我使用inspect元素时,表单字段在那里。这意味着表单正在动态加载。

import scrapy
from scrapy.http import FormRequest 
from scrapy.spiders import Spider
import requests


class InsuranceSpider(Spider):
    name = 'Insurance'
    rotate_user_agent = True
    start_urls = ['https://termlife.policybazaar.com/utm_expid=.6JJVM9m0Q
    cmm4qXpREX97w.1&utm_referrer=&utm_content=home_v5']

    def parse(self,response):
        title = response.css('title').extract()
        data = {
            'gender':'1',
            'mobileNo':'9876543210',
            'dob':'20-02-1967',
            'name':'abc xyz',
            'otherCountryCode': '91',
        }
        print(response.body)
        FormRequest.from_response(response,data,callback=self.done)

    def done(self):
        print("done")

您可以单击链接以查看我要抓取的网站。此外,print(response.body)也不会显示form标签。那我应该如何将数据传递到表单中?

0 个答案:

没有答案