使用CSS填充内容的Python中的Scraping网站

时间:2014-12-05 08:06:17

标签: python web-scraping

我正在尝试从kaggle.com/users下的“配置文件和结果”选项卡中抓取数据。

之前我曾与BeautifulSoup合作,知道如何获取个人用户的链接,并导航到他们。但是,默认情况下,仅填充“配置文件”选项卡。 “结果”选项卡内容仅在用户单击时动态填充。

如果您在id为'profile2-content'的div下查看,下面的每个div对应一个标签的内容,但除了其中一个子标签之外的所有子标签都设置为显示:none。

一旦我到达每个用户的“个人资料”标签(默认),我该如何获得要加载的结果内容。一旦完成,我可能会找到id为'profile2-content-results'的固定div并提取其内容。

感谢您的帮助!

1 个答案:

答案 0 :(得分:0)

使用ajax加载,来自以下网址:kaggle.com/knockout/profiles/{user_id}/results

我建议你打开firebug / chrome dev工具,点击打开网络标签页面,查看它们动态加载的内容。