重定向请求问题或错误的请求格式

时间:2020-10-26 16:14:20

标签: python-3.x scrapy

我无法从此网站https://assr.parcelquest.com/Statewide/Index赚钱

我希望我的蜘蛛在输入marinCouty包裹编号时得到地址,然后编写下一个代码:

def start_requests(self):
rows =self.getPin('parcels/Parcel.csv')

for row in rows:
    params = {
        'co3': 'MRN',
        'apn': row[2], 
        'situs_house_number': '',
        'situs_dir': '-',
        'situs_street_name': '',
        'unit':'',
        'situs_street_suffix': '-',
        'Advanced.Documents.SpecifyBy':'', 
        'Advanced.Documents.Field0':'', 
        'Advanced.Documents.Field1':'', 
        'Advanced.Documents.Field2': '',
        'lblfld3': '', 
        'recaptchaSuccess': '0',
        'IndexViewModel': 'PQGov.Models.IndexViewModel'
    }
    header = {
        'Content-Type': 'application/x-www-form-urlencoded',
        'host':'assr.parcelquest.com',
        'Referer': 'https://assr.parcelquest.com/Statewide/Index'
        
    }


    #print(params)
    yield scrapy.Request(url=self.url,headers=header,body=json.dumps(params),method='POST',callback=self.property,meta = {'parcel':row})


def property(self, response):
    print(response.text)
    row = response.meta.get('parcel')
    #print('prueba3')
    out_data = MarincountyItem()
    print(response.xpath('//body/div[1]//div[2]/div/div/div[2]/div[3]/table//tr[1]/td/text()').extract_first())
    out_data['building_street_address'] = response.xpath('//body/div[1]/section/div[2]/div/div/div[2]/div[3]/table//tr[4]/td/text()').extract_first()
    yield out_data

我的问题是,当我抓狂时,我的答案始终是无,所以我认为我提出的要求很差,有人可以帮助我吗?这是马林县的所有包裹号码

  1. 024-261-01
  2. 058-390-16
  3. 028-222-84

0 个答案:

没有答案