Python客户端/服务器发送大尺寸文件

时间:2013-08-22 19:17:08

标签: python file sockets send directory

我不确定这个话题是否得到了回答,如果我很抱歉:

我有一个简单的python脚本,它将所有文件发送到一个文件夹中:

客户端:

import os,sys, socket, time
def Send(sok,data,end="292929"):
    sok.sendall(data + end);
def SendFolder(sok,folder):
    if(os.path.isdir(folder)):
        files = os.listdir(folder);
        os.chdir(folder);
        for file_ in files:
            Send(sok,file_);#Send the file name to the server
            f = open(file_, "rb");
            while(True):
                d = f.read();#read file
                if(d == ""):
                    break;
                Send(sok, d, "");#Send file data
            f.close();
            time.sleep(0.8);#Problem here!!!!!!!!!!!
            Send(sok,"");#Send termination to the server
            time.sleep(1);#Wait the server to write the file
        os.chdir("..");
        Send(sok,"endfile");#let the server know that we finish sending files
    else:
        Send("endfile")#If not folder send termination
try:
    sok1 = socket.socket();
    sok1.connect(("192.168.1.121",4444))#local ip
    time.sleep(1);
    while(True):
        Send(sok1,"Enter folder name to download: ");
        r = sok1.recv(1024);
        SendFolder(sok1,r);
        time.sleep(0.5);
except BaseException, e:
    print "Error: " + str(e);
    os._exit(1);

服务器:

import sys,os,socket,time
# receive data
def Receive(sock, end="292929"):
    data = "";
    while(True):
        if(data.endswith(end)):
            break;
        else:
            data = sock.recv(1024);
    return data[:-len(end)];#return data less termination
def FolderReceive(sok):
    while(True):
        r = Receive(sok);# recv filename or folder termination("endfile")
        if(r == "endfolder"):
            print "Folder receive complete.";
            break;
        else:
            filename = r;#file name
            filedata = Receive(sok);# receive file data
            f = open(filename,"wb");
            f.write(filedata);
            f.close();#finish to write the file
            print "Received: " + filename;
try:
    sok1 = socket.socket();
    sok1.bind(("0.0.0.0",4444));
    sok1.listen(5);
    cl , addr = sok1.accept();#accepts connection
    while(True):
        r = Receive(cl);
        sys.stdout.write("\n" + r);
        next = raw_input();
        cl.sendall(next);#send folder name to the client
        FolderReceive(cl);
except BaseException, e:
    print "Error: " + str(e);
    os._exit(1);

我知道这不是最好的服务器......但是我所知道的。这只适用于包含小文件的文件夹,因为如果我发送大文件(如5mb ...)它会崩溃,因为客户端等待服务器的时间不够。

所以我的问题是如何在没有客户端需要等待的情况下将文件发送到服务器?或者确切地知道客户端需要等待服务器接收文件的时间?一些代码执行相同但处理任何文件大小,任何帮助?

1 个答案:

答案 0 :(得分:2)

TCP sockets are byte streams, not message streams。如果要发送一系列单独的消息(如单独的文件),则需要定义协议,然后编写协议处理程序。没有办法解决这个问题;只是猜测时间或试图利用数据包边界是不可能的。

上面链接的博文显示了一种方法。但是如果你愿意的话,你可以使用字符串分隔符。但你必须处理两个问题:

  • 分隔符可以出现在read数据包的任何位置,而不仅仅是在最后。
  • 分隔符可以在数据包边界上拆分 - 您可以在一次读取结束时获得"2929",在下一次开始时获得另一个"29"

通常,您可以累积缓冲区,并在缓冲区中的任何位置搜索分隔符。像这样:

def message(sock, delimiter):
    buf = ''
    while True:
        data = sock.read(4096)
        if not data:
            # If the socket closes with no delimiter, this will
            # treat the last "partial file" as a complete file.
            # If that's not what you want, just return, or raise.
            yield buf
            return
        buf += data
        messages = buf.split(delimiter)
        for message in messages[:-1]:
            yield message
        buf = message[-1]

与此同时,您的分隔符还有另一个问题:没有什么能阻止它出现在您尝试传输的文件中。例如,如果您尝试发送脚本或此网页,该怎么办?

这是其他协议通常比分隔符更好的原因之一,但这并不难处理:只是逃避文件中找到的任何分隔符。由于您要一次发送整个文件,因此您可以在replace之前使用sendall,在replace之前使用反向split