Question

我有一段多线程代码，其中有22个线程并行运行，并试图将文件放置在sftp服务器上。

但是我一直在日志中间歇性地出现“连接重置”错误，因此很少有记录失败。

在初步分析中，我发现sftp服务器的大小为t2.small，CPU利用率为92％。

考虑到这一点，因为我将服务器更改为c5n.xlarge，现在错误的发生频率降低了，但是即使在最大CPU利用率达到63％的情况下，我有时也会得到它。

我无法在/ var / log / secure的sftp服务器日志中找到任何不同的内容。

下面是用于放置文件的代码段，每个线程创建一个新会话并关闭它。

JSch ssh = new JSch();
            // ssh.setKnownHosts("/path/of/known_hosts/file");
            java.util.Properties config = new java.util.Properties();
            config.put("StrictHostKeyChecking", "no");
            // Use key authentication if it is set, else use password auth
            if (mpServerDetails.get(SftpFile.SFTP_USERKEY) != null
                    && mpServerDetails.get(SftpFile.SFTP_USERKEY) != "") {
                    File userKeyFile = new File(mpServerDetails.get(SftpFile.SFTP_USERKEY).toString());
                if (userKeyFile == null || !userKeyFile.exists()) {
                    throw new NonRetriableException(
                            "Key file " + mpServerDetails.get(SftpFile.SFTP_USERKEY).toString() + "not found.");
                }
                ssh.addIdentity(userKeyFile.getAbsolutePath());
                session = ssh.getSession(mpServerDetails.get(SftpFile.SFTP_USERNAME).toString(),
                        mpServerDetails.get(SftpFile.SFTP_HOSTNAME).toString());
            } else if (mpServerDetails.get(SftpFile.SFTP_PASSWORD) != null) {
                session = ssh.getSession(mpServerDetails.get(SftpFile.SFTP_USERNAME).toString(),
                        mpServerDetails.get(SftpFile.SFTP_HOSTNAME).toString());
                session.setPassword(mpServerDetails.get(SftpFile.SFTP_PASSWORD).toString());
            }
            session.setConfig(config);
            session.connect();
            if (session != null && !session.isConnected()) {
                logger.warn("**session is not connected going to connect the sftp session ** {} ", session.getHost());
                session.connect();
            }
            channel = (ChannelSftp) session.openChannel("sftp");
            if (channel != null && !channel.isConnected()) {
                logger.warn("**channel is not connected going to connect the sftp channel ** {} ",
                        channel.getSession().isConnected());
                channel.connect();
            }
            channel.put(file.getAbsolutePath(), dest.getConfig().get(TransporterFileConstants.SFTP_DIRECTORY).toString()
                    + File.separatorChar + dest.getFileName(), new SystemOutProgressMonitor());

        }
        catch (NonRetriableException e) {
            throw new NonRetriableException(e);
        }
        catch (Exception e) {
            logger.error(
                    "Error occured while uploading file having name " + dest.getFileName() + " from remote directory:"
                            + dest.getConfig().get(TransporterFileConstants.SFTP_DIRECTORY).toString(),
                    e);
            logger.error("SFTP Exception : ", e);
            throw new RetriableException(e);
        }
        finally {
            if (null != channel && channel.isConnected()) {
                try {
                    channel.disconnect();
                }
                catch (Throwable e) {
                    logger.error("Error while disconnecting channel : ", e);
                }
            }
            if (null != session) {
                try {
                    session.disconnect();
                }
                catch (Throwable e) {
                    logger.error("Error while returning object to sftp pool : ", e);
                }
            }
        }

有人可以帮助我理解为什么我可能会收到此异常吗？

SFTP服务器配置为

MaxSessions 50
Capacity - 25 GB
4 core server with 10 GB Ram

错误信息摘要

com.jcraft.jsch.JSchException: Session.connect: java.net.SocketException: Connection reset
    at com.jcraft.jsch.Session.connect(Session.java:558) ~[honeybee-engine.jar:na]

如果这种情况持续发生，我的数据处理将不会保持一致。

Answer 1

MaxSessions 50

SSH服务器MaxSessions参数限制了可以通过单个SSH连接运行的“会话”的数量。您通过每个连接仅运行一个会话-SFTP会话，因此MaxSessions限制与您并没有特别的关系。

您的问题可能出在MaxStartups setting：

MaxStartups
指定到SSH守护程序的并发未认证连接的最大数量。其他连接将被丢弃，直到身份验证成功或该连接的LoginGraceTime过期为止。默认值为10：30：100 ....

基本上，如果连接到服务器尚未验证的客户端太多，则服务器将删除其中的一些连接。如果您的应用程序同时打开了与服务器的太多连接，则服务器可能会删除其中一些连接。这里的解决方案是调整MaxStartups的值，或者更改您的应用程序以免一次打开这么多连接。

还有一个称为listen backlog的操作系统限制。基本上，操作系统将仅保留一定数量的挂起TCP连接。如果同时进行了足够多的连接尝试，并且ssh服务器进程接受它们的速度不够快，则操作系统将丢弃某些连接请求。 SSH服务器请求积压的128个连接，但是OS可能会将积压的值设置为较低的值。如果您的SSH服务器足够忙，则可能会遇到此限制。

经常通过并行线程从sftp服务器获取连接重置错误，尝试将文件放置到sftp

1 个答案: