Question

我在Java应用程序中使用线程并行获取数据（使用网络调用）。我有一个方法（不在线程类中），它创建一个给定大小（最大10-15）的线程池，并将它们用于网络调用，我多次调用该方法从一个循环。

当我在慢速机器（3 GB RAM，Pentium-IV）上运行此应用程序时，一切正常，但当我在iMac（32 GB RAM，i7处理器）上运行时，它创建了太多线程，有时约2,500，并抛出一个内存不足的错误。

我怀疑JVM一旦完成就没有将完成的线程放回池中，因此它正在创建新的线程。

即使在iMac上，如果我保留Thread.sleep（1000）;在我上面提到的for循环中一切正常。虽然创造了大约900个线程。

以下是此应用程序的代码示例：

public ArrayList<String> getValuesForKeyFromMaps(String key, ArrayList<Meta> locations) throws InterruptedException, ExecutionException {

    int threadNum = locations.size(); // 10-15 at max

    ExecutorService executor = Executors.newFixedThreadPool(threadNum);
    List<FutureTask<ArrayList<String>>> taskList = new ArrayList<FutureTask<ArrayList<String>>>();

    for(final Meta location : locations){

        FutureTask<ArrayList<String>> futureTask_1 = new FutureTask<ArrayList<String>>(new Callable<ArrayList<String>>() {
            public ArrayList<String> call() throws Exception {
                // Service call
                return getValues(key, location);
            }
        });
        taskList.add(futureTask_1);
        executor.execute(futureTask_1);

    }

    ArrayList<String> values = new ArrayList<String>();

    // Wait until all results are available and combine them at the same time
    for (int j = 0; j < threadNum; j++) {
        FutureTask<ArrayList<String>> futureTask = taskList.get(j);
        values.addAll(futureTask.get());
    }
    executor.shutdown();
    return values;
}

如果我在iMac上使用下面的for循环调用上面的方法，它会抛出一个内存错误，因为它创建了大约2,500个线程。但它在较慢的机器上工作正常。

    for(String key : keySet){
        getValuesForKeyFromMaps(key, metaMap.get(key));
    }

并且，使用以下代码，在iMac上，它可以正常运行大约900个线程。

    for(String key : keySet) {
        getValuesForKeyFromMaps(key, metaMap.get(key));
        Thread.sleep(200); // Sleeping for 200 ms
    }

如果我将上述for循环中的睡眠时间增加到1000毫秒，它只创建30-50个线程并且应用程序运行正常。

如何控制应用程序中允许的最大线程数？我打算在给定时间最多创建/使用10-15个线程，但Java创建的太多了。

Answer 1

创建太多线程不是Java;你是！

每次调用函数时都不要创建执行程序。如果你有100个集合，每个集合包含100个元素，那么你将创建10,000个线程 - 这非常耗费资源......并且毫无意义。

ExecutorService executor = Executors.newFixedThreadPool(threadNum);

您最有可能拥有8个核心 - 只需创建一个具有8个线程的执行程序并在任何地方使用它。您的代码将更快地运行，您的应用程序将消耗更少，更少的资源。

熟悉这个code review singleton executor问题。您可以在应用程序中使用该解决方案。

Answer 2

通过使用ExecutorService executor = Executors.newFixedThreadPool(threadNum);，您将为getValuesForKeyFromMaps的每次调用创建一个新的线程池。因此，当您的keySet包含100个条目时，您最终会得到100个池，每个池有10-15个线程。将一个线程池保留为实例或类变量，并在需要时使用它。

在Java中创建太多线程

2 个答案: