针对黑莓应用程序的Java Web Scraping

时间:2013-03-09 20:03:15

标签: java blackberry web-scraping

我正在尝试从Blackberry App World中收集所有应用程序的信息。我为Apple注意的过程很简单,因为它有api,而且对于android / windows我从应用程序列表页面获得app的id,而不是去了那个页面并使用JSoup库从html元素收集信息。 对于Blackberry,他们使用jquery Web服务调用加载新的应用程序列表。我尝试使用Firefox Firebug插件调试页面以检查触发了哪些事件,但无法弄清楚如何以编程方式触发Java中的按钮点击事件捕获返回的数据 。谁能指导我如何进行?

1 个答案:

答案 0 :(得分:0)

我在源页面中查看了更多详细信息,发现他们有一个目录API javascript,后者又调用一个URL,它以JSON格式提供类似于Apple Search API的回复。 网址是:“_ http://appworld.blackberry.com/cas/content/*app_id*”

但是为了获取ID列表,我在Java中使用了Selenium,它打开了网页并单击了“加载更多”按钮直到大约数次,然后保存了html页面并从中提取了应用程序ID。比使用上面的url那些id来获取所需的数据。我也可以在id列表中使用相同的api。但在找到搜索网址之前,我已经执行了此步骤:)

希望这有助于某人