Question

我正在尝试使用Java下载www.pandora.com/profile/stations/olin_d_kirkland HTML，以匹配从Chrome网页的上下文菜单中选择“查看页面来源”时获得的内容。

现在，我知道如何使用Java下载网页HTML源代码。我已经使用downloads.nl完成了它，并在其他网站上进行了测试。然而，潘多拉是一个谜。我的最终目标是从Pandora帐户解析“电台”。

具体来说，我想从www.pandora.com/profile/stations/olin_d_kirkland

等网站获取电台名称

我曾尝试在Java中使用selenium库和内置的URL getter，但是当我得到5300时，我只能得到~4700行代码。更不用说代码中没有个性化数据了，这是我正在寻找什么。

我认为我没有抓住JavaScript或让JavaScript首先执行，但即使我等待它加载我的代码，我也只会得到相同的结果。

如果可能的话，我应该有一个名为'grabPageSource（）'的方法返回一个String。它应该在被调用时返回源代码。

public class PandoraStationFinder {
    public static void main(String[] args) throws IOException, InterruptedException {
        String s = grabPageSource();
        String[] lines = s.split("\n\r");
        String t;
        ArrayList stations = new ArrayList();
        for (int i = 0; i < lines.length; i++) {
            t = lines[i].trim();
            Pattern p = Pattern.compile("<a href=\"/station/\\d+\">[\\w\\s]+</a>");
            Matcher m = p.matcher(t);
            if (m.matches() ? true : false) {
                Station someStation = new Station(t);
                stations.add(someStation);
                // System.out.println("I found a match on line " + i + ".");
                // System.out.println(t);
            }
        }
    }

    public static String grabPageSource() throws IOException {
        String fullTxt = "";
        // Get HTML from www.pandora.com/profile/stations/olin_d_kirkland
        return fullTxt;
    }
}

它是如何完成的无关紧要，但我想在最终产品中获取用户在Pandora上喜欢的所有歌曲的综合列表。

Answer 1

Pandora页面使用ajax进行了大量构建，因此许多刮刀都在努力。在上面显示的情况下，查看工作站列表，页面实际上会通过辅助请求发送：

http://www.pandora.com/content/stations?startIndex=0&webname=olin_d_kirkland

如果您运行了您的请求，但是将其指向该网址而不是主网站，我认为您的抓取工作会更加幸运。

同样，要访问“赞”，您需要以下网址： http://www.pandora.com/content/tracklikes?likeStartIndex=0&thumbStartIndex=0&webname=olin_d_kirkland

这将以5为一组拉回喜欢的曲目，但您可以通过增加'thumbStartIndex'参数来浏览结果。

Answer 2

不完全是答案，但希望这会让你朝着正确的方向前进：

每当我遇到这种情况时，我总是会依赖HTTP监控工具。我使用firefox，我非常喜欢Live HTTP Headers扩展名。查看来回的标题，然后相应地定制您的http请求。作为绝对最低级别测试，从成功请求中获取标头，然后使用telnet将其发送到端口80并查看返回的内容。

用Java下载Pandora源代码？

2 个答案: