如何使用crawler4J从网站获取所有图像

时间:2018-05-04 16:25:02

标签: java image web-crawler crawler4j

我想在java中创建一个程序,该程序从网站获取所有需要使用网络爬虫的登录信息的图像。我知道这可以使用crawler4J中的图像搜寻器示例:https://github.com/yasserg/crawler4j/tree/master/crawler4j-examples/crawler4j-examples-base/src/test/java/edu/uci/ics/crawler4j/examples/imagecrawler。但我不知道如何配置它,以便它使用我的凭据登录页面。 我已经尝试过使用:

    String formUsername = "myUsername";
    String formPassword = "myPassword";
    String urlLogin = "myWebsite.xxx";
    String session_user = "Login";
    String session_password = "Password";

    AuthInfo authInfo = new FormAuthInfo(formUsername, formPassword, urlLogin, session_user, session_password );

    config.addAuthInfo(authInfo);

然而,这似乎并不奏效。我真的可以在这方面使用一些帮助。谢谢

0 个答案:

没有答案