Question

我有一个有数十亿条记录的ArrayList，我遍历每条记录并将其发布到服务器。在每次迭代中调用如下方法：

public void sendNotification(String url, String accountId, String accountPwd, String jsonPayLoad,
            int maxConnections) {
        notificationService = Executors.newFixedThreadPool(maxConnections);
        notificationService.submit(new SendPushNotification(url, accountId, accountPwd, jsonPayLoad));
        notificationService.shutdown();

    }

我的SendPushNotification类如下：

public class SendPushNotification implements Runnable {

    String url;
    String accountId;
    String accountPwd;
    String jsonPayLoad;

    public SendPushNotification(String url, String accountId, String accountPwd, String jsonPayLoad) {
        this.url = url;
        this.accountId = accountId;
        this.accountPwd = accountPwd;
        this.jsonPayLoad = jsonPayLoad;

    }
    public void run() {

        HttpsURLConnection conn = null;
        try {

            StringBuffer response;
            URL url1 = new URL(url);
            conn = (HttpsURLConnection) url1.openConnection();
            // conn.setReadTimeout(20000);
            // conn.setConnectTimeout(30000);
            conn.setRequestProperty("X-Account-Id", accountId);
            conn.setRequestProperty("X-Passcode", accountPwd);
            conn.setRequestProperty("Content-Type", "application/json");
            conn.setDoOutput(true);
            conn.setRequestMethod("POST");

            OutputStream out = new BufferedOutputStream(conn.getOutputStream());
            BufferedWriter writer = new BufferedWriter(new OutputStreamWriter(out, "UTF-8"));
            writer.write(jsonPayLoad);
            writer.close();
            out.close();
            int responseCode = conn.getResponseCode();

            System.out.println(String.valueOf(responseCode));
            switch (responseCode) {
            case 200:
                BufferedReader in = new BufferedReader(new InputStreamReader(conn.getInputStream()));
                String inputLine;
                response = new StringBuffer();
                while ((inputLine = in.readLine()) != null) {
                    response.append(inputLine);
                }
                in.close();
                System.out.println(response.toString());
            }
        } catch (IOException ez) {
            ez.printStackTrace();

        } finally {
            if (conn != null) {
                try {
                    conn.disconnect();
                } catch (Exception ex) {
                    ex.printStackTrace();
                }
            }
        }
    }

    }

所以这里出了什么问题，我怀疑我必须在一个不错的系统配置上运行它。基本上我想知道我的代码是否有任何问题？

Answer 1

错误的做法！循环：

notificationService = Executors.newFixedThreadPool(maxConnections);

是一个糟糕的想法！为什么要打造数十亿的ThreadPools;提交一个任务然后将其关闭？！这就像每次灰盘都满了就买一辆新法拉利......

请理解：您的简单代码会创建大量对象;并且所有这些都在一次循环迭代后消失。含义：他们有资格进行垃圾收集。换句话说：您经常以非常高的费率创建垃圾。你真的很惊讶，这样做会让你“陷入记忆”吗？

相反，使用一个 ThreadPool并将您的数十亿个请求提交给它！

除此之外，即使这不是一个好主意。每个条目打开与您的服务器的一个网络连接只会不扩展到数十亿条目：真实解决方案要求你退后一步，思考一些以“合理的方式”端到端工作的东西。例如，您应该考虑在服务器上创建某种“批量”或“流式”接口。在客户端上迭代数十亿条目文件，并与服务器建立数十亿的连接很抱歉，疯狂！

所以不要这样做：

loop:
  open connection / push ONE item / close connection

你最好去：

open connection / push all items / close connections

或者除此之外，您甚至可以研究传输压缩的二进制数据。含义：在客户端压缩文件，将其作为blob发送;并在服务器端提取/处理它。

这里有很多选择空间;但请放心：您当前的“内存不足”异常只是“不合适”设计造成的一种症状。

编辑：鉴于您的评论，我的（个人）建议：

显然：使用一个线程池（可能构建在3个线程上）并将Runnables推送到该共享池中
然后开始仔细分析。鉴于您打算处理这些数十亿条目，每毫秒可能会计算。换句话说：进行合理的测试，找出解决方案的“好”程度。如果它没有成功;进行分析以找到需要改进的地方。
要理解的关键：你可以微调一下，在这里获得1％，在那里获得5％;但很可能会发生所有这些都不够好。当你做十亿次的事情时，他们应该才能真正快速;否则那个因素会杀了你......

Answer 2

ExecutorService发出内存错误

正如@GhostCat指出的那样，你应该在程序开始时在通知类的顶部创建一个ExecutorService。当您收到新请求时，您将所有通知请求提交给相同的 ExecutorService，这将根据需要创建线程。每次创建一个新池都是一种糟糕的模式。

// at top of class not in the sending loop 
private final ExecutorService notificationThreadPool =
     Executors.newFixedThreadPool(MAX_CONNECTIONS);

然而，重要的是要意识到由于线程池使用无界队列，您可能仍会耗尽内存。封底下的newFixedThreadPool(...)方法使用new LinkedBlockingQueue<Runnable>()，因此如果您的发件人无法满足需求，您仍会耗尽内存。

然后，如果不增加线程数量，则必须以某种方式减慢生产者的速度，或者将请求写入磁盘或其他短期存储。

如果您需要使用有界队列来检测事情何时填满，那么您应该执行以下操作：

private final ExecutorService notificationThreadPool =
     new ThreadPoolExecutor(nThreads, nThreads, 0L, TimeUnit.MILLISECONDS,
                            new LinkedBlockingQueue<Runnable>(MAX_QUEUED_REQUESTS);

默认情况下，如果所有线程都忙，并且当您向池提交SendPushNotification时队列已满，如果它已满，它将抛出RejectedExecutionException，让您有机会以某种方式处理。您还可以使用notificationThreadPool.setRejectedExecutionHandler(...)设置RejectedExecutionHandler，将拒绝的通知写入临时存储，直到线程赶上。

ExecutorService发出内存不足错误

2 个答案: