beautifulsoup - 无法拿起桌子（在iframe之外）

Question

我正试图从下面链接的html图片中刮掉一张桌子。

我正在寻找的表位于我用蓝色突出显示的tbody中，但是，当我使用Beautifulsoup来抓取这个html文档时，我只能获取信息直到{{ 1}}。不知何故，('div', 'class': 'sic_localNav')没有获取Beautifulsoup中的所有信息（和表格）。 - 我画了一个箭头来表示div class的位置。

div class

有关为什么a = bs4.BeautifulSoup(response.text, 'lxml') b = a.find('div', attrs={'class': 'sic_localNav'}) print(b) <div class="sic_localNav"> <ul class="sic_section {default_type: 'insider_latest', default_market: 'sgx'}" id="nav_l3"> <li class="nav_l3_tabs {type: 'insider_latest'}"> <h3> Latest Insider Trades </h3> </li> <li class="nav_l3_tabs {type: 'insider_significant_sales'}"> <h3> Significant Sales </h3> </li> <li class="nav_l3_tabs {type: 'insider_significant_purchases'}"> <h3> Significant Purchases </h3> </li> <li class="nav_l3_tabs {type: 'insider_search'}"> <h3> Search </h3> </li> </ul> <img alt="loading..." class="sic_icon_loadingLarge" height="32" id="sic_insider_loading_indicator" src="/images/icon_loadingLarge.gif" style="display: none;" width="32"/> <div class="sic_innerContainer" id="sic_insider"> </div> </div> 未获取Beautifulsoup的任何想法？我还检查过，tbody不在tbody或类似内容之内。

有什么想法？

很抱歉，图像有点模糊。这不是你的眼睛累了..