废弃stackoverflow用户数据

时间:2017-11-07 14:03:51

标签: python-3.x web-scraping

git svn

当我们更改此代码的url时,输出保持不变。

1 个答案:

答案 0 :(得分:1)

我遇到了类似的问题。适合我的解决方案是使用<div id="z"> A very long header </div> <div id="a"> <div id="b"> Hello World </div> </div>。虽然我使用无头浏览器,即selenium我认为它也适用于其他浏览器。

phantomjs

更改driver = webdriver.PhantomJS('/home/practice/selenium/webdriver/phantomjs/bin/phantomjs') users = [] page_num = 1 driver.get('https://stackoverflow.com/users?page={page_num}&tab=reputation&filter=week'.format(page_num=page_num)) content = driver.find_element_by_id('content') for details in content.find_elements_by_class_name('user-details'): users.append(details.text) print(users) 以获得所需的结果。

希望这会有所帮助!