我使用org.apache.commons.net.ftp.FTPClient实现了使用org.apache.commons.net.ftp.FTPClient将文件上传到服务器的java代码 对于多个文件,ftp上传速度非常慢。 我怎样才能提高速度。
- 改变图书馆? 什么是用于上传多个文件的强大的FTP客户端类库?
- 使用多个线程? 如何用多线程实现ftp上传功能? 有人能告诉我一个例子吗? 我是多线程编程的新手。
在我阅读完所有答案后,我尝试更改我的代码并对其进行测试。
以下是一个示例FTPClient代码:
// create instance of FTPClient
FTPClient ftp = new FTPClient();
ftp.setControlEncoding("UTF-8");
ftp.setDefaultTimeout(30000);
// connect to server
try
{
ftp.connect("10.1.1.1", 990);
}
catch(Exception e)
{
System.out.println("Cannot connect to server");
return;
}
// login to server
if (!ftp.login("username", "password"))
{
ftp.logout();
System.out.println("Cannot login to server");
return;
}
try
{
ftp.setFileTransferMode(FTP.BINARY_FILE_TYPE);
ftp.enterLocalPassiveMode();
// ftp.setBufferSize(0); <-- someone suggest me to set buffer size to 0, but it throw error sometime.
}
catch(Exception e)
{
}
// create directory on server
// dirs is list of required directories on server
for (String dir : dirs)
{
try
{
ftp.makeDirectory(dir);
}
catch(IOException e)
{
}
}
// files is a map of local file and string of remote file
// such as
// file on client is "C://test/a.txt"
// location on server is "/test/a.txt"
for (Map.Entry<File, String> entry : files.entrySet())
{
File localFile = entry.getKey();
String remoteFile = entry.getValue();
FileInputStream input = null;
try
{
input= new FileInputStream(localFile);
ftp.storeFile(remoteFile, input);
}
catch (Exception e)
{
try
{
ftp.deleteFile(remoteFile);
}
catch (IOException e1)
{
}
}
finally
{
if (input != null)
{
try
{
input.close();
}
catch (IOException e)
{
}
}
}
}
// disconnect
if (ftp != null && ftp.isConnected())
{
try
{
ftp.disconnect();
}
catch (IOException f)
{
// do nothing
}
}
当我上传1050个文件(每个文件大约1-20 KB)时,花了大约49406 - 51000毫秒(这只是上传时间)。 我想提高速度。
有些人建议我使用ftp4j,但是当我用1050个文件测试库时,ftp4j的上传速度比FTPClient慢大约10000毫秒。 花了大约60000毫克。
以下是示例ftp4j代码:
// create instance of FTPClient
FTPClient ftp = new FTPClient();
ftp.setCharset("UTF-8");
// connect to server
try
{
ftp.connect("10.1.1.1", 990);
}
catch(Exception e)
{
System.out.println("Cannot connect to server")
return;
}
// login to server
try
{
ftp.login("username", "password");
}
catch (Exception e)
{
try
{
ftp.logout();
}
catch (Exception e1)
{
}
System.out.println("Cannot login to server")
return;
}
try
{
ftp.setType(FTPClient.TYPE_BINARY);
ftp.setPassive(true);
}
catch(Exception e)
{
}
// create directory on server
// dirs is list of required directories on server
for (String dir : dirs)
{
try
{
ftp.createDirectory(dir);
}
catch (Exception e)
{
}
}
// files is a map of local file and string of remote file
// such as
// file on client is "C://test/a.txt"
// location on server is "/test/a.txt"
for (Map.Entry<File, String> entry : files.entrySet())
{
final File localFile = entry.getKey();
final String remoteFile = entry.getValue();
BufferedInputStream input = null;
boolean success = false;
try
{
input = new BufferedInputStream(new FileInputStream(localFile));
// ftp.upload(localFile); <-- if I use ftp.upload(File), it will took more time.
ftp.upload(remoteFile, input, 0, 2048, new MyTransferListener());
success = true;
}
catch (Exception e)
{
}
finally
{
if (input != null)
{
try
{
input.close();
}
catch (IOException e)
{
}
}
if (!success)
{
try
{
ftp.deleteFile(remoteFile);
}
catch (Exception e)
{
}
}
}
}
// disconnect
if (ftp != null && ftp.isConnected())
{
try
{
ftp.disconnect();
}
catch (IOException f)
{
// do nothing
}
}
我尝试使用多个线程。
以下是多线程代码:
final CountDownLatch latch = new CountDownLatch(files.size());
ExecutorService pool = Executors.newFixedThreadPool(10);
for (Map.Entry<File, String> entry : files.entrySet())
{
final File localFile = entry.getKey();
final String remoteFile = entry.getValue();
pool.execute(new Runnable() {
public void run()
{
FileInputStream input = null;
try
{
input= new FileInputStream(localFile);
ftp.storeFile(remoteFile, input);
}
catch (Exception e)
{
try
{
ftp.deleteFile(remoteFile);
}
catch (IOException e1)
{
}
}
finally
{
if (input != null)
{
try
{
input.close();
}
catch (IOException e)
{
}
}
latch.countDown();
}
}
});
}
try
{
// waiting for all threads finish
// see: http://stackoverflow.com/questions/1250643/how-to-wait-for-all-threads-to-finish-using-executorservice
latch.await();
}
catch(Exception e)
{
}
这是对的吗?它工作正常,但无法提高速度。 它花了大约49000 - 51000毫秒与没有线程的代码相同。
我用内联网测试速度。互联网需要更多时间。
如何提高上传速度?
答案 0 :(得分:1)
我不知道为什么,但是Apache Commons FTP在上传方面相当慢,我遇到了同样的问题,我无法解决它。
现在我使用FTP4j,它非常类似于apache commons ftp,但上传速度非常快。
这是一个例子:
FTPClient client = new FTPClient();
client.connect("www.yoursite.com");
client.login("login", "password");
client.setPassive(true);
client.setType(FTPClient.TYPE_BINARY);
client.changeDirectory("a");
File f = new File("path/to/your/file");
client.upload(f);
client.disconnect(true);
使用这个库我在不到一秒的时间内就可以获得340KB的文件,而使用Apache Commons FTP需要大约1分钟。
如果您想使用线程传输不同的文件,请尝试将每个client.upload(f)
放入不同的线程,但我不确定它是否会提升传输速度。
引用@fge上一个回答:
基本上,很有可能,你不能。
不要忘记FTP有两种类型的通道:命令通道和数据通道。通过在命令通道上发送指令来启动一次上传,以打开正确上载的数据通道。
现在:
如果可以并行上传多个文件,即打开多个数据通道,您就会遇到TCP本身的开销通常会减慢上传过程的问题。
基本上:随时保持一个数据通道打开。尝试和打开不止一个是不值得的。一般来说,它可能在约1%的情况下起作用。这不值得麻烦。
答案 1 :(得分:0)
这个Q&amp; A可能的解释:why is ftp upload slow in java 7
此外,它提供了几种解决方法:
升级到可以(目前)找到的3.3快照here
致电FTPClient.setBufferSize(0)
。
显然,Java 7 for Windows中也存在回归,其中FTP客户端的防火墙应用程序过滤器阻止客户端使用PASV模式FTP。目前尚不清楚最佳解决方案是什么,但您可以尝试以下方法:
更改Windows防火墙以禁用防火墙应用程序筛选器(如Microsoft KB页面中所述。
将您的FTP应用程序更改为使用“活动”模式......但这要求FTP服务器可以启动与运行客户端的计算机的连接。
注意:问题似乎不止一个解释......或者可能存在多个问题。