Question

我希望从https://www.worldometers.info/coronavirus/抓取数据，但是表的tr和td似乎在整个行中一直在变化。到目前为止，我的代码如下，并且无法正常工作。

public ArrayList<Data>getAllData(){
        ArrayList<Data>allData = new ArrayList<Data>();
        try {
        Thread.sleep(10000);
        WebDriver browser = load();
        int row = browser.findElements(By.xpath("/html[1]/body[1]/div[3]/div[3]/div[1]/div[4]/div[1]/div[1]/table[1]/tbody[1]/tr")).size();
        int col = browser.findElements(By.xpath("/html[1]/body[1]/div[3]/div[3]/div[1]/div[4]/div[1]/div[1]/table[1]/tbody[1]/tr[1]/td")).size();
        for ( int i = 3; i < row; i++) {
            for ( int j = 1; j < col; j++) {
        Data data = new Data();
        data.setId(browser.findElement(By.xpath("/html[1]/body[1]/div[3]/div[3]/div[1]/div[4]/div[1]/div[1]/table[1]/tbody[1]/tr["+i+"]/td["+j+"]")).getText());
        data.setCountry(browser.findElement(By.xpath("/html[1]/body[1]/div[3]/div[3]/div[1]/div[4]/div[1]/div[1]/table[1]/tbody[1]/tr["+i+"]/td["+j+"]")).getText());
        data.setTotalCases(browser.findElement(By.xpath("/html[1]/body[1]/div[3]/div[3]/div[1]/div[4]/div[1]/div[1]/table[1]/tbody[1]/tr["+i+"]/td["+j+"]")).getText());
        data.setNewCases(browser.findElement(By.xpath("/html[1]/body[1]/div[3]/div[3]/div[1]/div[4]/div[1]/div[1]/table[1]/tbody[1]/tr["+i+"]/td["+j+"]")).getText());
        data.setTotalDeaths(browser.findElement(By.xpath("/html[1]/body[1]/div[3]/div[3]/div[1]/div[4]/div[1]/div[1]/table[1]/tbody[1]/tr["+i+"]/td["+j+"]")).getText());
        data.setNewDeaths(browser.findElement(By.xpath("/html[1]/body[1]/div[3]/div[3]/div[1]/div[4]/div[1]/div[1]/table[1]/tbody[1]/tr["+i+"]/td["+j+"]")).getText());
        data.setTotalRecovered(browser.findElement(By.xpath("/html[1]/body[1]/div[3]/div[3]/div[1]/div[4]/div[1]/div[1]/table[1]/tbody[1]/tr["+i+"]/td["+j+"]")).getText());
        data.setActiveCases(browser.findElement(By.xpath("/html[1]/body[1]/div[3]/div[3]/div[1]/div[4]/div[1]/div[1]/table[1]/tbody[1]/tr["+i+"]/td["+j+"]")).getText());
        data.setSeriousCases(browser.findElement(By.xpath("/html[1]/body[1]/div[3]/div[3]/div[1]/div[4]/div[1]/div[1]/table[1]/tbody[1]/tr["+i+"]/td["+j+"]")).getText());
        data.setTotalCasesPerMillionPop(browser.findElement(By.xpath("/html[1]/body[1]/div[3]/div[3]/div[1]/div[4]/div[1]/div[1]/table[1]/tbody[1]/tr["+i+"]/td["+j+"]")).getText());
        data.setTotalDeathsPerMillionPop(browser.findElement(By.xpath("/html[1]/body[1]/div[3]/div[3]/div[1]/div[4]/div[1]/div[1]/table[1]/tbody[1]/tr["+i+"]/td["+j+"]")).getText());
        data.setTotalTests(browser.findElement(By.xpath("/html[1]/body[1]/div[3]/div[3]/div[1]/div[4]/div[1]/div[1]/table[1]/tbody[1]/tr["+i+"]/td["+j+"]")).getText());
        data.setTestsPerMillion(browser.findElement(By.xpath("/html[1]/body[1]/div[3]/div[3]/div[1]/div[4]/div[1]/div[1]/table[1]/tbody[1]/tr["+i+"]/td["+j+"]")).getText());       
        allData.add(data);
            }
        }
        browser.quit();
        browser.close();
        }
        catch(Exception e) {
            e.printStackTrace();
        }
    
        return allData;
        }

Answer 1

您当前正在执行的操作是查找与行和列匹配的所有元素-但是随后您将导航到表上的索引位置，而不是找到的实际元素。

如果在开发工具中查看表主体，您会看到它包含从视图中隐藏的总行。美国是第3行（在devtools中突出显示），但第4、5和6行是总计。

如果展开，则列号和内容会有所不同。

建议的事物：

尝试使用更智能的xpath获取所有行：（这似乎跳过了这些标题）

//table[@id="main_table_countries_today"]//tr[@role="row"]

然后，使用foreach循环（而不是通过xpath索引）来迭代找到的行元素。然后，在该循环中，在每一行中获取td标签。

例如：

public void GettingAllTheData(){

            //Get all the ROWS that match
            var rows = driver.findElements(By.xpath("//table[@id='main_table_countries_today']//tr[@role='row']"));

            //loop all rows
            for (var row : rows) {
                //Then get the columns within the row object!
                var cols = row.findElements(By.tagName("td"));

                //replace this with writing out your data 
                //this is jut to make sure it writes out as expected. 
                //You might not need a second loop 
                for (var col : cols)
                {
                    System.out.println(col.getText());
                }
            }
    }

我不想重新创建您的数据对象，所以我只用打印。对我来说，这似乎始终如一地写出结果。

第一次迭代：

1
USA
3,619,643
+2,816
140,200
+56
1,646,683
1,832,760
16,459
10,933
423
44,867,389
135,518
331,081,677

第二次迭代：

2
Brazil
1,972,072
+1,163
75,568
+45
1,366,775
529,729
8,318
9,275
355
4,911,063
23,098
212,620,008

硒-如何报废此表？

1 个答案: