Python美丽的汤形式输入解析

时间:2014-04-11 00:53:18

标签: python html parsing beautifulsoup html-parsing

我的目标是获取所有输入名称和值的列表。将它们配对并提交表格。名称和值是随机的。

from bs4 import BeautifulSoup # parsing

html = """
<html>
<head id="Head1"><title>Title Page</title></head>
<body>
    <form id="formS" action="login.asp?dx=" method="post">

    <input type=hidden name=qw1NWJOJi/E8IyqHSHA== value='gDcZHY+nV' >
    <input type=hidden name=sfqwWJOJi/E8DFDHSHB== value='kgDcZHY+n' >
    <input type=hidden name=Jsfqw1NdddfDDSDKKSL== value='rNg4pUhnV' >
    </form>

</body>

</html>
"""

html_proc = BeautifulSoup(html)

这个位工作正常:

print html_proc.find("input", value=True)["value"]
> gDcZHY+nV

然而,以下陈述不起作用或不按预期工作:

print html_proc.find("input", name=True)["name"]
> TypeError: find() got multiple values for keyword argument 'name'

print html_proc.findAll("input", value=True, attrs={'value'})
> []  

print html_proc.findAll('input', value=True)
> <input name="qw1NWJOJi/E8IyqHSHA==" type="hidden" value="gDcZHY+nV">
> <input name="sfqwWJOJi/E8DFDHSHB==" type="hidden" value="kgDcZHY+n">
> <input name="Jsfqw1NdddfDDSDKKSL==" type="hidden" value="rNg4pUhnV">
> </input></input></input>, <input name="sfqwWJOJi/E8DFDHSHB==" type="hidden" 
> value="kgDcZHY+n">
> <input name="Jsfqw1NdddfDDSDKKSL==" type="hidden" value="rNg4pUhnV">
> </input></input>, <input name="Jsfqw1NdddfDDSDKKSL==" type="hidden" value="rNg4p
> UhnV"></input>

2 个答案:

答案 0 :(得分:18)

您无法使用BeautifulSoup提交表单,但以下是如何获取名称,值对的列表:

print [(element['name'], element['value']) for element in html_proc.find_all('input')]

打印:

[('qw1NWJOJi/E8IyqHSHA==', 'gDcZHY+nV'), 
 ('sfqwWJOJi/E8DFDHSHB==', 'kgDcZHY+n'), 
 ('Jsfqw1NdddfDDSDKKSL==', 'rNg4pUhnV')]

答案 1 :(得分:6)

{'sfqwWJOJi/E8DFDHSHB==': 'kgDcZHY+n', 
 'qw1NWJOJi/E8IyqHSHA==': 'gDcZHY+nV', 
 'Jsfqw1NdddfDDSDKKSL==': 'rNg4pUhnV'}

打印:

url = 'http://example.com/' + html_proc.form['action']
requests.post(url , data=d)

在@alecxe的基础上,这可以避免KeyErrors,并将表单解析为字典,为unique做好准备。

html_proc.find("input", attrs={'name': True})

虽然如果这更复杂(cookie,脚本),你可能想要requests

TypeError的原因是对find()为'name'的第一个参数感到困惑。而是{'value': True}。同样对于attrs参数,使用字典public class Patient { public long RecordId { get; set; } public string Username { get; set; } public DateTime Date { get; set; } public bool Deleted { get; set; } public string ModifiedBy { get; set; } public DateTime ModifiedOn { get; set; } public string CreatedBy { get; set; } public DateTime CreatedOn { get; set; } } 而不是set {'value'}。