Question

我有一个大小约为50GB的存档文件。

每周，我必须使用CSV文件并将其与非常大的50GB CSV文件合并。

我是Go的新手，并且希望Go中有一个很好的解决方案。

文件如下：

"a:123", 101010
"b:123", 101010
"some-key-here:123", 101010
"some-key-here:234", 101010

Answer 1

虽然我没有自己编译来检查，但是一旦你实现compare()功能，这应该做你想要的。它本质上是Mergesort算法的“合并”步骤。由于您已经按排序顺序获得了这两个文件，因此您只需要合并步骤，这可以以流方式完成。

package main

import (
    "encoding/csv"
    "io"
    "log"
    "os"
)

const outFile = "your/output/file/path.ext"

func main() {
    // make sure there are only 2 args
    if len(os.Args) != 3 {
        log.Panic("\nUsage: command file1 file2")
    }

    // open the first file
    f1, e := os.Open(os.Args[1])
    if e != nil {
        log.Panic("\nUnable to open first file: ", e)
    }
    defer f1.Close()

    // open second file
    f2, e := os.Open(os.Args[2])
    if e != nil {
        log.Panic("\nUnable to open second file: ", e)
    }
    defer f2.Close()

    // create a file writer
    w, e := os.Create(outFile)
    if e != nil {
        log.Panic("\nUnable to create new file: ", e)
    }
    defer w.Close()

    // wrap the file readers with CSV readers
    cr1 := csv.NewReader(f1)
    cr2 := csv.NewReader(f2)

    // wrap the out file writer with a CSV writer
    cw := csv.NewWriter(w)

    // initialize the lines
    line1, b := readline(cr1)
    if !b {
        log.Panic("\nNo CSV lines in file 1.")
    }
    line2, b := readline(cr2)
    if !b {
        log.Panic("\nNo CSV lines in file 2.")
    }

    // copy the files according to similar rules of the merge step in Mergesort
    for {
        if compare(line1, line2) {
            writeline(line1)
            if line1, b = readline(cr1); !b {
                copy(cr2, w)
                break
            }
        } else {
            writeline(line2)
            if line2, b = readline(cr2); !b {
                copy(cr1, w)
                break
            }
        }
    }

    // note the files will be closed here, since we defered it above
}

func readline(r csv.Reader) ([]string, bool) {
    line, e := r.Read()
    if e != nil {
        if e == io.EOF {
            return nil, false
        }
        log.Panic("\nError reading file: ", e)
    }
    return line, true
}

func writeline(w csv.Writer, line []string) {
    e := w.Write(line)
    if e != nil {
        log.Panic("\nError writing file: ", e)
    }
}

func copy(r csv.Reader, w csv.Writer) {
    for line, b := readline(r); !b; r, b = readline(r) {
        writeline(w, line)
    }
}

func compare(line1, line2 string) bool {
    /* here, determine if line1 and line2 are in the correct order (line1 first)
       if so, return true, otherwise false
    */
}

注意：此答案经过大量编辑，包含代码内联而非链接。此外，自我的初稿以来，代码已得到显着改善，但由于此处没有任何活动，我只是吹走旧版本并重写我的答案。

Answer 2

如果两个文件是单独排序的，那么您可以使用合并排序的合并功能将它们组合成一个排序数组。

通过数组，我的意思是我们可以使用另一个CSV文件来动态编写已排序的数据。

将2个大型已排序的CSV文件合并为一个文件

2 个答案: