Question

需要你的帮助来在java / J2EE中构建一个可以作为Web scraper工作的应用程序。

以下是我对该项目的看法

在我的应用程序主页中，将有一个文本框，用户可以在其中输入要访问的任何URL。点击go按钮后，网页将显示在我的应用程序下，即URL将保持与我的应用程序相同。用户可以在网页上的文本框中输入任何内容，然后单击相应的操作（搜索/提交）。在该页面的表单提交中，我可以捕获用户放置在文本框中的文本并将其保存在我的数据库中。就是这样。

现在的问题是，如果我正在查看一些已经可用的基于Java的Web Scrapers，例如WebHarvest，它们只是捕获URL上的预定义字符串。

请帮我找一些教程或任何可以在经过一些修改后适合我的开源应用程序

任何帮助都将受到高度赞赏。

谢谢。

Answer 1

我将为您提供简单的 Selenium WebDriver in Java 。然而，您可能会找到所有细节here。

import java.io.*;

import org.apache.commons.io.FileUtils;
import org.openqa.selenium.By;
import org.openqa.selenium.OutputType;
import org.openqa.selenium.TakesScreenshot;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.firefox.FirefoxDriver;

public class WebScrapper {

    public WebDriver driver = new FirefoxDriver();

    /**
     * Open the test website.
     */
    public void openTestSite() {
        driver.navigate().to("http://testing-ground.scraping.pro/login");
    }

    /**
     * 
     * @param username
     * @param Password
     * 
     *            Logins into the website, by entering provided username and
     *            password
     */
    public void login(String username, String Password) {

        WebElement userName_editbox = driver.findElement(By.id("usr"));
        WebElement password_editbox = driver.findElement(By.id("pwd"));
        WebElement submit_button = driver.findElement(By.xpath("//input[@value='Login']"));

        userName_editbox.sendKeys(username);
        password_editbox.sendKeys(Password);
        submit_button.click();

    }

    /**
     * grabs the status text and saves that into status.txt file
     * 
     * @throws IOException
     */
    public void getText() throws IOException {
        String text = driver.findElement(By.xpath("//div[@id='case_login']/h3")).getText();
        Writer writer = new BufferedWriter(new OutputStreamWriter(new FileOutputStream("status.txt"), "utf-8"));
        writer.write(text);
        writer.close();

    }

    /**
     * Saves the screenshot
     * 
     * @throws IOException
     */
    public void saveScreenshot() throws IOException {
        File scrFile = ((TakesScreenshot) driver).getScreenshotAs(OutputType.FILE);
        FileUtils.copyFile(scrFile, new File("screenshot.png"));
    }

    public void closeBrowser() {
        driver.close();
    }

    public static void main(String[] args) throws IOException {
        WebScrapper webSrcapper = new WebScrapper();
        webSrcapper.openTestSite();
        webSrcapper.login("admin", "12345");
        webSrcapper.getText();
        webSrcapper.saveScreenshot();
        webSrcapper.closeBrowser();
    }
}

Java上的其他scrape related tools。

如何在java中使用web scraper获取内容

1 个答案: