JSoup：解析Twitter列表

Question

我想使用JSoup解析Twitter列表（例如https://twitter.com/spdbt/lists/spd-bundestagsabgeordnete/members）。我的问题是，页面是动态的，即我只从页面获得前20个结果。有没有什么方法JSoup可以获取整个页面？

目前，我的代码如下：

Document doc = Jsoup.connect(listAdress).get();
Elements usernames = doc.select(".username.js-action-profile-name");
Elements realNames = doc.select(".fullname.js-action-profile-name");
// iterate over usernames and realNames and do something

提前致谢！

Answer 1

有些人努力实现这个目标

• 使用Selenium
启动带有以上网址的浏览器
• 完全加载页面
• 使用Selenium方法获取页面源。
• 将此内容传递给JSOUP
• 解析它。

逻辑

WebDriver driver = new FirefoxDriver();
driver.get("https://twitter.com/spdbt/lists/spd-bundestagsabgeordnete/members")
//some logic to scroll or you do it manually
String pageContent = driver.getPageSource();
Document doc = Jsoup.parse(pageContent);
//from here write your logic to get the required values

Answer 2

最终通过使用Twitter库解决了这个问题，但感谢您的帮助。