用多种形式抓取认证页面

Question

在网站上，我想在那里抓一个身份验证页面。 没有用户名和密码可以输入，但在二十个点击按钮中选择一个位置。 例如按钮的形式：

<form id="liliForm-2519" name="liliForm-2519" method="post" action="http://exemple.com/rat/body.ayers.verlayer/57">
<input type="hidden" name="t:formdata" value="ERERAAADFDFvzloEVAN3OqfcAA">
<input class="submit" type="submit" value="Acces">
</form>

是否可以模拟提交的clik？如果是这样，有人可以帮助我吗？提前谢谢STEF

Answer 1

您需要在FormRequest类中指定clickdata参数： http://doc.scrapy.org/en/latest/topics/request-response.html#formrequest-objects

def parse_page(self,response):
    return FormRequest.from_response(response,clickdata={'value':'Acces'})

或者您可以使用formxpath参数来匹配某个xpath。

如果您希望我进一步查看，请随时发布链接。

Answer 2

使用python scrapy，您可以执行类似

的操作

def parse_page(self, response):
    FormRequest(url=http://exemple.com/rat/body.ayers.verlayer/57",
                method="POST",
                response=reponse)

它将从您的html响应中检索实际值，以填写表单的缺失输入字段。