Question

我想提取链接，但是没有给出任何href属性。如何从页面上抓取链接？

from bs4 import BeautifulSoup
import requests
for count in range(1,421):

r = requests.get('http://iapsm.org/MemberPage/members.php? 
page='+str(count)+'&Search=',headers= {'User-Agent':'Googleboat'})
soup = BeautifulSoup(r.text,'lxml')

links = soup.find_all('div',class_='Table')
for link in soup.find_all('tr'):
   c = (link.get('a'))
   print c

我没有得到任何输出或得到任何错误

Answer 1

要抓取所有详细信息，请首先搜索所有具有modal-content类的div

您可以在下面尝试我的代码以获取用户的所有信息。

modals = soup.find_all('div',{'class':'modal-content'})
user_data = []
for modal in modals:
    uls = modal.find_all('ul',{'class':'Modal-List'})
    info = {}
    for ul in uls:
        info[ul[0]] = ul[1]
    user_data.append(info)
print(user_data)

如何抓取没有href属性的链接？

1 个答案: