Java在线程池

时间:2016-06-27 11:51:02

标签: java multithreading

我的java Web应用程序中有一个固定的线程池。

 App.aes =  Executors.newFixedThreadPool(3);

它用于执行异步任务。这些任务可能需要数小时才能完成。所以,如果我需要重新加载应用程序,我需要检查是否有异步任务在运行,如果是,我需要将这些任务存储在等待队列中的某个地方,并在应用程序重新加载后恢复它们。

我做了一些测试:

public static void main(String[] args) throws InterruptedException {
        ExecutorService es = Executors.newFixedThreadPool(1);
        for(int i=0; i< 5; i++){
            final int c = i + 1;
            es.submit(new Runnable(){
                @Override
                public void run() {
                    System.out.println("current running " + c);
                    try {
                        Thread.sleep(10000);    // 10 sec
                    } catch (InterruptedException e) {
                        System.out.println("interrupted  " + c);
                    }
                }

            });
        }

        Thread.sleep(15000);
        List<Runnable> rems = es.shutdownNow();
        System.out.println("Remaining " + rems.size());
        System.out.println("--------- restore remaining task ----------");

        es = Executors.newFixedThreadPool(1);
        for(Runnable r : rems){
            es.submit(r);
        }
    }

输出是:

current running 1
current running 2
interrupted  2
Remaining 4
--------- restore remaining task ----------
current running 3
current running 4
current running 5
current running 6

这不是我要找的结果。中断的任务将无法恢复。 API文档证明了这一点:

Attempts to stop all actively executing tasks, halts the processing of waiting tasks, and returns a list of the tasks that were awaiting execution. 

我们如何在java线程池中安全地存储和恢复未完成的任务?我的真正任务是故障安全,这意味着每个任务都可以一次又一次地重新运行。并且执行的顺序无关紧要。

我的web应用程序部署在weblogic上,线程池由servlet启动,ServletContextListener被注册以关闭线程池。

我期待两种选择:

  • 选项1.无需中断活动任务,等待完成,然后完成 然后保存所有等待的任务,然后关闭线程池。

    专业人士:无需担心因中断而导致的任何不可预测的情况   缺点:这需要等待所有正在运行的任务完成。 依赖于每个任务的线程池大小和时间成本,等待时间可能很长。

  • 选项2.中断活动任务,然后保存所有未完成的任务 关闭线程池。

选项1对我来说是理想的解决方案。

1 个答案:

答案 0 :(得分:1)

如何创建中断任务列表?您已经使用了catch来执行特定中断线程的代码:

public static void main(String[] args) throws InterruptedException {
    ExecutorService es = Executors.newFixedThreadPool(1);
    List<Runnable> interruptedTasks = new CopyOnWriteArrayList<Runnable>(); //create the list of interrupted threads/tasks
        //Edited - after the right comment by @Luke Lee (AbstractList cannot be instantiated and the operation in the catch block should be thread-safe)
    for(int i=0; i< 5; i++){
        final int c = i + 1;
        es.submit(new Runnable(){
            @Override
            public void run() {
                System.out.println("current running " + c);
                try {
                    Thread.sleep(10000);    // 10 sec
                } catch (InterruptedException e) {
                    System.out.println("interrupted  " + c);
                    interruptedTasks.add(this); //add this interrupted instance to the list
                }
            }

        });
    }

    Thread.sleep(15000);
    List<Runnable> rems = es.shutdownNow();
    System.out.println("Remaining " + rems.size());
    System.out.println("--------- restore remaining task ----------");

    es = Executors.newFixedThreadPool(1);
    for (Runnable r : interruptedTasks){ //add the interrupted Runnables to the new pool
        es.submit(r);
    }
    for(Runnable r : rems){
        es.submit(r);
    }
}

我没有对此进行测试 - 但我认为这应该有效。如果在重新运行任务之前需要进行某种清理,当然可以在将实例添加到被中断的任务列表中时在catch中执行这些操作。

显然这有助于简化测试 - 但是您可以在更复杂的设计中执行相同的操作:您可以将Runnable作为一个类,将池的对象作为构造函数中的参数而不是使用匿名类。只有在创建实例后,才将其提交到池中。这样它就有能力在中断时将自己添加到池中。但是你需要在Runnable中添加一个setPool(ExecutorSerive)方法并调用它,将池的对象重置为新对象,然后重新运行它(在我添加的for循环中,就在提交行之前) )。

编辑:刚看到你的编辑 - 关于选项。我的建议显然是第二种选择。对于第一个选项,我认为您可以使用文档here中的示例代码,具体来说 - 查看awaitTermination

相关部分:

void shutdownAndAwaitTermination(ExecutorService pool) {
   pool.shutdown(); // Disable new tasks from being submitted
   try {
     // Wait a while for existing tasks to terminate
     if (!pool.awaitTermination(60, TimeUnit.SECONDS)) {
       pool.shutdownNow(); // Cancel currently executing tasks
       // Wait a while for tasks to respond to being cancelled
       if (!pool.awaitTermination(60, TimeUnit.SECONDS))
           System.err.println("Pool did not terminate");
     }
   } catch (InterruptedException ie) {
     // (Re-)Cancel if current thread also interrupted
     pool.shutdownNow();
     // Preserve interrupt status
     Thread.currentThread().interrupt();
   }
}