使用BeautifulSoup的iframe - 不会在iframe中提供div的内容

时间:2017-07-31 20:08:20

标签: python pandas beautifulsoup

我了解要使用beautifulsoup获取iframe的内容,您必须请求iframe的src。

然而,当我这样做时,iframe中有一个div,我似乎无法访问。

res = requests.get('[iframe src]')
soup = bs4.BeautifulSoup(res.text, "html.parser")
print(soup)

这给出了:

<!DOCTYPE html>
<html><head>...</head>
<body>
<div id="widgetApp"></div>
<script type="text/javascript"><script>
<script type="text/javascript"><script>
<script type="text/javascript"><script>
<script type="text/javascript"><script>
</body>
</html>

在浏览器中使用developer tools / inspect元素,我可以看到#widgetApp div里面有很多其他的div等。我如何访问这些?

编辑:为了澄清,我试图访问#widgetApp中包含的div #foo。

当我这样做时:

elems = soup.select('#foo')
print(len(elems))

我得到0,即它没有在#widgetApp中找到#foo div。

希望这是有道理的。

非常感谢任何帮助。

0 个答案:

没有答案