Roblox论坛，Web Scraping App（Android）问题

Question

我一直在等待一个想法，我想我终于有了一个想法。我将尝试使用Web Scraping创建一个Android应用程序，这将允许我导航和使用Roblox上的论坛（.com，如果你真的想查找它）比我现在更好。不仅论坛一般都很糟糕，但在我的Android设备（三星Galaxy播放器）上它们更糟糕。任何人都可以给我指点或建议吗？我不确定我应该使用哪些库...这是我第一次尝试编码：）

哦，显然我想给它一个回复帖子的功能，但我不确定登录这种类型的东西会起作用......

编辑：我从这个应用程序中得到了这个想法：GooglePlay，Github

Answer 1

你应该查看如何从网站上获取数据，你还应该确保你理解html。您还需要一种简单的方法来处理html。

• 获取页面（使用问题中的示例）：Read data from webpage
• 关于html：http://www.w3schools.com/html/default.asp
• 处理html：http://jsoup.org/cookbook/extracting-data/dom-navigation

要登录，您应该使用登录信息进行标准登录页面的发布请求，然后保留生成的cookie并将其与其他请求一起传递。

• 很少关于处理cookie：Java: Handling cookies when logging in with POST

您可能还想考虑一些事情：

• 论坛帖子的线性或分支视图？
• 如果有人发布新帖子，您是否会收到消息？
• 自己的搜索功能？
• 签名？

Answer 2

你必须使用java的JSOUP libaray，你可以通过这个库轻松解析html数据。示例：在doc对象中，您将获得完整的网页

File input = new File(url);
Document doc = null;
doc = Jsoup.connect(url).get();
Elements headlinesCat1 = doc.select("div[class=abc");