Question

嗨，我是韩国的一个网络程序员，我开发了一种方法爬行很多商品信息。我是在我们的网络应用程序（由春天制作）中制作的。并通过请求低于

的特定网址来激活它

@RequestMapping（value =＆＃34; / naverCrawlJobAjax＆＃34;，produce =＆＃34; application / json; charset = utf8＆＃34;）

当我在我的本地tomcat服务器中激活它时，它工作正常。但是当我请求实际运行的服务器的URL时，它被卡住了用这种方法（org / apache / http / impl / client / InternalHttpClient.doExecute（HttpHost，HttpRequest，HttpContext））

它也适用于实际运行的服务器。但是使用起来太慢......

任何帮助？ T.T

    //code start
    WebClient webClient =  new WebClient(BrowserVersion.FIREFOX_45);//maybe stucked in here
    webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
    webClient.getOptions().setThrowExceptionOnScriptError(false);
    webClient.getOptions().setUseInsecureSSL(true);
    webClient.getOptions().setCssEnabled(false);
    webClient.addRequestHeader("Accept-Language", "ko-KR,ko;q=0.8,en-US;q=0.6,en;q=0.4, value");
    webClient.addRequestHeader("Accept-Charset", "windows-949,utf-8;q=0.7,*;q=0.3");
    webClient.getCookieManager().setCookiesEnabled(true);
    webClient.setJavaScriptTimeout(50000);

    String result = "S";
    String url = "https://adcenter.shopping.naver.com/member/login/form.nhn";
    HtmlPage page;
    JSONObject obj = new JSONObject();
    obj.put("resultCode", result);
    obj.put("httpClientVer", HttpClientBuilder.class.getProtectionDomain().getCodeSource().getLocation());

httpclient是superslow（htmlunit 2.24）

0 个答案: