使用SFTP传输大量文件在C#中很慢

时间:2016-05-27 11:46:22

标签: c# multithreading sftp winscp winscp-net

我在C#WPF应用程序中使用SFTP通过Linux服务器上传4000个大小为85 KB的zip文件。 整个过程需要30分钟。

有没有办法加速使用SFTP上传?

我正在使用WinSCP .NET程序集:
https://winscp.net/eng/docs/library

我之前也曾使用过Chilkat。

这是我的代码:

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Windows;
using System.Windows.Controls;
using System.Windows.Data;
using System.Windows.Documents;
using System.Windows.Input;
using System.Windows.Media;
using System.Windows.Media.Imaging;
using System.Windows.Navigation;
using System.Windows.Shapes;
using WinSCP;
namespace SFTP_Demo
{
    public partial class MainWindow : Window
    {
        public MainWindow()
        {
            InitializeComponent();
            string line;
            SessionOptions sessionoptions = new SessionOptions()
            {
                Protocol = WinSCP.Protocol.Sftp,
                HostName = "172.168.1.7",
                PortNumber = 22,
                UserName = "lduser",
                Password = "lduser",
                GiveUpSecurityAndAcceptAnySshHostKey = true
            };
            using (Session session = new Session())
            {
                session.Open(sessionoptions);
                TransferOptions transferOptions = new TransferOptions();
                transferOptions.TransferMode = TransferMode.Binary;
                TransferOperationResult transferResult;
                System.IO.StreamReader file = new System.IO.StreamReader(txtFile.Text);
                while ((line = file.ReadLine()) != null)
                {
                    transferResult = session.PutFiles(@"D:\Test\signature\ldoutput\"+line, "/SFTP/", false, transferOptions);
                    transferResult.Check();
                    counter++;
                    strbldr = strbldr.AppendLine(string.Format("{0} Upload of {1} succeeded", counter + 1.ToString(), line));
                }
            }
        }
    }
}

1 个答案:

答案 0 :(得分:0)

每个文件都有相当大的开销(打开,关闭,更新时间戳)。因此,传输大量小文件的效率非常低。

你可以做些什么来并行转移。

使用Session.ListDirectory收集文件列表(如果需要递归,则收集Session.EnumerateRemoteFiles)并将列表拆分为批次,并在单独的线程中传输每个文件。

这是PowerShell脚本的一个示例。将代码重新实现到C#应该不难。

Automating download in parallel connections over SFTP/FTP protocol