如何使用go传输多个文件

时间:2015-12-15 16:01:42

标签: file go transfer

我正在尝试编写一个包含两部分的程序。一部分是尝试将多张图片上传到服务器的另一部分的客户端。

服务器端应执行以下操作:

  1. 获取将要发送的文件数
  2. 为每个文件循环
  3. 获取文件名
  4. 获取文件并保存
  5. 转到3
  6. 到目前为止,服务器端正在执行以下操作:

    func getFileFromClient(connection net.Conn) {
        var numberOfPics int
        var err error
        var receivedBytes int64
        var fileName string
        r := bufio.NewReader(connection)
        strNumberOfPics, err := r.ReadString('\n')
        if err != nil {
            fmt.Printf("Error reading: %s\n", err)
            return
        }
        fmt.Printf("Read: %s\n", strNumberOfPics)
        strNumberOfPics = strings.Trim(strNumberOfPics, "\n")
        numberOfPics, err = strconv.Atoi(strNumberOfPics)
        if err != nil {
            fmt.Printf("Error Atoi: %s\n", err)
            panic("Atoi")
        }
        fmt.Printf("Receiving %d pics:\n", numberOfPics)
        for i := 0; i < numberOfPics; i++ {
            // Getting the file name:
            fileName, err = r.ReadString('\n')
            if err != nil {
                fmt.Printf("Error receiving: %s\n", err)
            }
            fmt.Printf("Filename: %s\n", fileName)
            fileName = strings.Trim(fileName, "\n")
            f, err := os.Create(fileName)
            defer f.Close()
            if err != nil {
                fmt.Println("Error creating file")
            }
            receivedBytes, err = io.Copy(f, connection)
            if err != nil {
                panic("Transmission error")
            }
    
            fmt.Printf("Transmission finished. Received: %d \n", receivedBytes)
        }
    }
    

    io.Copy仅适用于一个文件而且没有其他任何附加功能(因为我认为它不会清空队列)。如果我没有,我不想每次都为每个文件重新连接。但我不确定我到底能做些什么。

    有没有人建议现有的套餐或方法可以提供帮助?还是示例代码?或者我只是完全错了,甚至尝试使用go也是一个坏主意?

    我认为如果服务器能够在每次读取后刷新连接缓冲区就足够了,所以不会读取和/或复制其他信息。

    非常期待寻求帮助,提前谢谢

    编辑:更新的代码仍无效。我想它可能是bufio.reader

    func getFileFromClient(connection net.Conn) {
        var numberOfPics int
        var err error
        var receivedBytes int64
        var fileName string
        r := bufio.NewReader(connection)
        strNumberOfPics, err := r.ReadString('\n')
        if err != nil {
            fmt.Printf("Error reading: %s\n", err)
            return
        }
        strNumberOfPics = strings.Trim(strNumberOfPics, "\n")
        numberOfPics, err = strconv.Atoi(strNumberOfPics)
        if err != nil {
            fmt.Printf("Error Atoi: %s\n", err)
            panic("Atoi")
        }
        fmt.Printf("Receiving %d pics:\n", numberOfPics)
        for i := 0; i < numberOfPics; i++ {
            // Getting the file name:
            fileName, err = r.ReadString('\n')
            if err != nil {
                fmt.Printf("Error receiving: %s\n", err)
            }
            fileName = strings.Trim(fileName, "\n")
            fmt.Printf("Filename: %s\n", fileName)
            f, err := os.Create(fileName)
            defer f.Close()
            if err != nil {
                fmt.Println("Error creating file")
            }
            // Get the file size
            strFileSize, err := r.ReadString('\n')
            if err != nil {
                fmt.Printf("Read size error %s\n", err)
                panic("Read size")
            }
            strFileSize = strings.Trim(strFileSize, "\n")
            fileSize, err := strconv.Atoi(strFileSize)
            if err != nil {
                fmt.Printf("Error size Atoi: %s\n", err)
                panic("size Atoi")
            }
            fmt.Printf("Size of pic: %d\n", fileSize)
    
            receivedBytes, err = io.CopyN(f, connection, int64(fileSize))
            if err != nil {
                fmt.Printf("Transmission error: %s\n", err)
                panic("Transmission error")
            }
            fmt.Printf("Transmission finished. Received: %d \n", receivedBytes)
        }
    }
    

    编辑2:我没有得到这个解决方案。我很确定这是因为我使用了bufio。然而,我通过使用io.copy传输单个zip文件来实现它。另一个有效的解决方案是使用http传输zip文件。如果你被困在尝试类似的东西,需要帮助随时给我发消息。感谢各位的帮助

2 个答案:

答案 0 :(得分:1)

保持您的实施到目前为止,您失去的是io.Copy()从源读取,直到找到EOF,因此它将一次性读取所有剩余的图像。

此外,客户端必须为每个图像发送其大小(以字节为单位)(您可以在发送名称后执行此操作)。 在服务器中,只需读取大小,然后使用io.CopyN()读取确切的字节数。

编辑:事实上,您也可以执行类似于您正在执行的操作并且并行发送图像而不是串行发送图像,这意味着您为每个文件传输打开新连接,然后读取所有文件,无需发送图像数量或大小。

如果您想要替代方案,一个好的选择是使用好的HTTP和多部分请求。内置模块mime/multipart允许您通过HTTP进行文件传输。当然,这意味着你必须重写你的程序。

答案 1 :(得分:0)

我的建议是压缩您要传输的所有图像,然后将它们作为单个多部分POST请求发送。通过这种方式,您可以通过标准方式了解所有的验收标准。

您可以使用https://golang.org/pkg/archive/zip/

轻松压缩多个文件