Question

for (int i=0; i<100000; i++) {
    // REST API request. 
restTemplate.exchange(url, HttpMethod.GET, request, String.class);
}

我遇到的情况是我必须为10万用户请求资源，并且需要70分钟才能完成。我试图尽可能地清理我的代码，我只能将它减少4分钟）。

由于每个请求彼此独立，我希望并行发送请求（可能是10s，100s，甚至1000s的块，每次快速完成）。我希望我能把时间减少到10分钟或者接近的时间。如何计算哪个块大小可以快速完成工作？

我找到了以下方法，但我不知道该程序是否一次处理所有20个;或一次5个;或者一次10个。

IntStream.range(0,20).parallel().forEach(i->{
     ... do something here
});

我知道你的帮助。我对任何建议或评论都持开放态度！

UPDATE：我能够使用IntStream，并在28分钟内完成任务。但我不确定这是我能做的最好的。

Answer 1

我在Java 8中使用了以下代码，它完成了工作。我能够将批处理作业从28分钟缩短到3:39分钟。

IntStream.range(0, 100000).parallel().forEach(i->{
     restTemplate.exchange(url, HttpMethod.GET, request, String.class);
}
});

Answer 2

对parallel()的标准调用将使用Common Fork Join Pool为您的机器可用的每个核心减去一个核心创建一个线程。

如果你想自己指定并行性，你将有不同的可能性：

更改公共池的并行度：System.setProperty("java.util.concurrent.ForkJoinPool.common.parallelism", "20")
使用自己的游泳池：

示例：

int allRequestsCount = 20;
int parallelism = 4; // Vary on your own

ForkJoinPool forkJoinPool = new ForkJoinPool(parallelism);
IntStream.range(0, parallelism).forEach(i -> forkJoinPool.submit(() -> {
  int chunkSize = allRequestsCount / parallelism;
  IntStream.range(i * chunkSize, i * chunkSize + chunkSize)
           .forEach(num -> {

             // Simulate long running operation
             try {
               Thread.sleep(1000);
             } catch (InterruptedException e) {
               e.printStackTrace();
             }

             System.out.println(Thread.currentThread().getName() + ": " + num);
           });
}));

这个实现只是为了给你一个想法的示例。

Answer 3

根据您的情况，您可以使用fork / join框架或创建执行程序服务池线程。

      ExecutorService service = null;
    try {

        service = Executors.newFixedThreadPool(8);
        service.submit(() -> {

            //do your task
        });
    } catch (Exception e) {
    } finally {
        if (service != null) {
            service.shutdown();
        }

    }
    service.awaitTermination(1, TimeUnit.MINUTES);
    if(service.isTerminated())
        System.out.println("All threads have been finished");
    else 
        System.out.println("At least one thread running");

使用fork / join框架

    class RequestHandler extends RecursiveAction {

    int start;
    int end;

    public RequestHandler(int start, int end) {
        this.start = start;
        this.end = end;
    }

    @Override
    protected void compute() {
        if (end - start <= 10) {

            //REST Request
        } else {

            int middle = start + (end - start) / 2;
            invokeAll(new RequestHandler(start, middle), new RequestHandler(middle, end));
        }

    }

}

Public class MainClass{
   public void main(String[] args){

       ForkJoinTask<?> task = new RequestHandler(0, 100000);
       ForkJoinPool pool = new ForkJoinPool();
       pool.invoke(task);
   }
}

Answer 4

我写了一篇关于此的短文。它包含允许您控制池大小的简单工具：

https://gt-dev.blogspot.com/2016/07/java-8-threads-parallel-stream-how-to.html

Java 8：如何将for循环转换为并行运行？

4 个答案: