Question

我尝试使用以下代码从亚马逊网站获取一些数据：

public class Bot {

    public static void main(String[] args) throws IOException {

        BufferedReader buff;
        InputStreamReader inStream;
        String htmlCode = null;
        try{
            URL url = new URL("http://www.amazon.it/gp/bestsellers/electronics/473246031/ref=s9_dnav_bw_ir12_z?pf_rd_m=A11IL2PNWYJU7H&pf_rd_s=center-1&pf_rd_r=1VC27Z69NFM1FJAR2YNY&pf_rd_t=101&pf_rd_p=245982287&pf_rd_i=412609031");
            URLConnection urlConnection = (URLConnection)url.openConnection();



            inStream = new InputStreamReader(urlConnection.getInputStream());
            buff = new BufferedReader(inStream);

            while(true){
                if (buff.readLine()!=null){
                    htmlCode += buff.readLine() + "\n";
                }else{
                    break;
                }
            }

            int startFrom = htmlCode.indexOf("<div class=\"zg_rank\">");
            int endFrom = htmlCode.indexOf("</div>");

            String idNumber = htmlCode.substring(startFrom, endFrom);

            System.out.println(idNumber);
        }catch(Exception e){};  

    }

}

那我错了什么？我该如何解决这个问题？

Answer 1

没有我的朋友，你的代码是正确的。但是，字符串实例无法保存整个页面。以下是您从div的开头到结尾指向的方式：

boolean CodeNeeded = false;

while ((line = br.readLine()) != null) {
    // Here I Point on the beginig of the Code needed
    if(line.contains("<div class=\"zg_rank\">")){
        CodeNeeded = true;
    }

    // Here I Point on the End of the Code needed
    if (line.contains("</div>")) {
        CodeNeeded = false;
    }        
    // If the Code is needed Stored it in DivWanted
    if(CodeNeeded) {
        DivWanted += line + "\n";
    }    
}

Answer 2

我正在尝试使用心灵感应，我认为它有效！

我认为您的问题是endFrom。试试这个：

int endFrom = htmlCode.lastIndexOf("</div>"); // lastIndexOf, not indexOf

否则，您只能到达第一个 </div>

<强>编辑：

要在开始后获取 next </div>，请使用此选项：

int endFrom = htmlCode.indexOf("</div>", startFrom); // Add 2nd parameter

Answer 3

也许你需要尝试类似的东西：

int startFrom = htmlCode.indexOf("<div class=\"zg_rank\">");
int endFrom = htmlCode.indexOf("</div>", startFrom);

比</div>之后的第一个<div class="zg_rank">外观搜索。

使用Java从网站获取数据

3 个答案: