使用apache python Requests库将数据发布到aspx表单,并使用BeautifulSoup抓取用户数据

时间:2018-08-13 14:22:01

标签: web-scraping beautifulsoup python-requests

我正在尝试使用Python请求库将数据发布到ASPX表单。但我无法正确解决。我的计划是抓取用户数据,例如名称,地址等

以下是网络表单:https://www.icsi.in/student/Members/MemberSearch.aspx-我仅使用一个输入进行搜索:“ CP编号” = 16803。

这是我的代码:

import requests
from bs4 import BeautifulSoup

def make_request_to_url():
    url = "https://www.icsi.in/student/Members/MemberSearch.aspx"
    post_data = {
        'dnn$ctr410$MemberSearch$txtFirstName': None,
        'dnn$ctr410$MemberSearch$txtLastName': None,
        'dnn$ctr410$MemberSearch$ddlMemberType': None,
        'dnn$ctr410$MemberSearch$txtMembershipNumber': None,
        'dnn$ctr410$MemberSearch$txtCpNumber': 16803,
        'dnn$ctr410$MemberSearch$txtCity': None,
        'dnn$ctr410$MemberSearch$txtOrganisation': None,
        'dnn$ctr410$MemberSearch$txtAddress2': None,            
        'dnn$ctr410$MemberSearch$txtAddress3': None,
        'dnn$ctr410$MemberSearch$txtEmail': None
    }
    r = requests.post(url, data = post_data)
    soup = BeautifulSoup(r.content,'lxml')
    head_name =  soup.find_all("div",{"class":"name_head"})
    print "head_name",head_name

我得到内容,但没有需要刮擦的名称,地址等数据行。该怎么办?

0 个答案:

没有答案