如何使用BeautifulSoup python在嵌套div中查找类

Question

我现在正在使用网络抓取工具，似乎我无法从特定网站获取div内的类。以下是我的代码。我在Python3中使用BeautifulSoup

import requests
from bs4 import BeautifulSoup as bs

response = requests.get('https://e27.co/startup/flipkart').text
soup = bs(response, 'html.parser')
content_div = soup.findAll('h1',class_ = 'profile-startup')
print(content_div)

我想在h1中提取具有类＆＃34; profile-startup＆＃34;的文本。上面的代码什么也没有返回你们能帮助我吗？

Answer 1

该网站使用Javascript填充数据。如果您查看response中的内容，您会发现没有h1。你必须看看他们是否有一个API可以用来检索你需要的信息，或者考虑使用像Selenium这样的浏览器自动化技术：http://selenium-python.readthedocs.io/installation.html#introduction