Question

我练习FormRequest并遇到问题 Fisrt，我在def（解析）中抓取一个链接，我将在def（parse1）中获得一个json。
然后我在json中获得actId，我可以请求抓取其他链接，但是有这样的错误：

 ERROR: Spider error processing <POST http://xxx.tw/ca/to.do;jsessionid=A69C5203A49A12DA450F32E6B2AB0E23?mtd=Search&mId=604>

 exceptions.TypeError: unicode_to_str must receive a unicode or str object, got int

我认为这是因为它提供了一个jsessionid jsessionid=A69C5203A49A12DA450F32E6B2AB0E23

因为我拼命地尝试yield FormRequest(url='http://xxx.tw/ca/toView?mtd=do', callback=self.parse3, formdata={'actId': actId})，而且效果很好。

这是代码：

 def parse(self, response):
    yield FormRequest.from_response(response,
                                    formname='Form',
                                    formdata={'when': '9',
                                              'key': 'please input',
                                             },
                                    callback=self.parse1)
   #<form name="Form" id="search" method="post" action="/ca/to?mtd=do&Id=4">
 def parse1(self, response):
    data = json.loads(response.body)
    tryone =  data.get('to')
    for i in tryone:
        actId = i['actId']
        yield FormRequest(url='http://xxx.tw/ca/toView?mtd=do', callback=self.parse3, formdata={'actId': actId})  

 def parse3(self, response): 
    print response.status   #200
    print 'haha'

我该怎样解决这个问题？

Answer 1

actId的类型是什么？如果是int而不是将actId从int转换为string。在最新版本的scarpy中，它需要转换。

    yield FormRequest(url='http://xxx.tw/ca/toView?mtd=do', callback=self.parse3, formdata={'actId': str(actId)})

scrapy：如果FormRequest有jsessionid

1 个答案: