同时生成JSoup请求

时间:2017-03-15 15:18:12

标签: java multithreading jsoup threadpool

我必须向我的服务器发送多个http请求,并希望以同时(多线程)方式执行此操作。 下面是我到目前为止开发的代码。这是Main类,我检索CPU的核心数并创建与核心一样多的线程。

public class Main {
private static LinkedBlockingQueue<Request> reqList = new LinkedBlockingQueue<Request>();

public static void main(String[] args) throws IOException {        

    Integer countOfThreads = Runtime.getRuntime().availableProcessors();  

    Worker worker1 = new Worker(new Request("sxafsfle9il.comasfasf","bfasf91"));
    Worker worker2 = new Worker(new Request("sxafsfle9il.comasfasf","bfasf91")); 

    MultiThreading.start(countOfThreads, worker1);
    MultiThreading.start(countOfThreads, worker2);

}
}

Worker类实现Runnable接口并在单独的线程中运行每个任务:

public class Worker implements Runnable {
  private Request reqToChecking;

  public Worker(Request req) {
      this.reqToChecking = req;
  }

  @Override
  public void run() {        

       try {

           reqToChecking.callWebServer();

       } catch (IOException ex) {
           Logger.getLogger(Worker.class.getName()).log(Level.SEVERE, null, ex);
       }

   }

}

使用JSoup发出http请求并做一些事情的Request类:

public class Request {
   private String param1;
   private String param2;

   public Request(String p1, String p2) throws IOException {        
     param1 = p1;
     param2 = p2;
   }

   public void callWebserver() throws IOException {
     // send some requests to server

   }
 }

最后,启动线程的多线程类:

public class MultiThreading {
    public static  void start(Integer numberOfThread, Runnable task) {
        ExecutorService threadPool = Executors.newFixedThreadPool(numberOfThread);
        //threadPool.submit(task);
        threadPool.execute(task);
        threadPool.shutdown();
    }
}

这种多线程版本比没有多线程的版本快几秒钟。 在您看来,上述代码是否正确?如果没有,你能提出一些改进这些代码的建议吗? 提前谢谢。

1 个答案:

答案 0 :(得分:1)

线程有成本。因此,您节省的时间必须考虑到这个成本,并且在连续代码中执行的时间更短。

在某些情况下,它们可能不值得。

在你的情况下,相对而言,秒可以是一个巨大的节省。考虑到某些操作可以在几微秒或更短的时间内进行测量。

这一行:

 threadPool.shutdown();

很乐观。如果其中一个线程被卡住,那么它将永远不会关闭。

修改

 ExecutorService threadPool = Executors.newFixedThreadPool(numberOfThread);

只需要使用一次。在方法之外。

我通常在调用shutdown之前使用生存时间检查活动计数。如果超过,则可以采取适当的措施。

在伪代码中:

loop a number of times
if threadPoolExceutor.getActiveCount() != 0
sleep certain amount
else
break out of loop

if loop was completed
 check  still running threads.
else
 success