Question

我编写了以下函数来执行snt2cooc命令（运行GIZA++的预处理步骤之一。）出于我们的目的，我认为我们可以认为snt2cooc脚本是黑匣子）：

func SNTToCOOC(srcVocab, tgtVocab, sntPath, outpath string) error {
    // open the out file for writing
    outfile, err := os.Create(outpath)
    if err != nil {
        return err
    }
    defer outfile.Close()

    cmdStr := "snt2cooc"
    args := []string{srcVocab, tgtVocab, sntPath}
    cmd := exec.Command(cmdStr, args...)
    cmd.Stdout = outfile
    if err = cmd.Run(); err != nil {
        return err
    }
    cmd.Wait()
    return err
}

运行时，该函数执行时没有错误，但输出文件为空。这个相同的代码适用于其他类似的命令，但不适用于这个特定的snt2cooc命令，我注意到当我直接在shell中运行此命令时：

snt2cooc file1.vcb file2.vcb file3.snt

我得到以下输出：

（为简洁而截断）

如果我直接从shell发送命令的输出：

snt2cooc file1.vcb file2.vcb file3.snt > out.txt

out.txt的内容符合预期：

注意在第一种情况下，行END.首先输出到stdout，然后才发送到stdout的命令的实际输出。因此，我认为存在竞争条件，Go代码在命令的最终输出写入文件之前完成执行。尽管打电话给cmd.Wait()。我不太清楚snt2cooc命令究竟在内部做什么。有人可以提供一些如何解决这个问题的提示吗？

修改1：

似乎下面的代码（包含500ms的睡眠）始终将输出写入snt2cooc命令的文件：

cmdStr := "snt2cooc"
args := []string{srcVocab, tgtVocab, sntPath}
cmd := exec.Command(cmdStr, args...)
stdout, err := cmd.StdoutPipe()
time.Sleep(500 * time.Millisecond)
if err != nil {
    return err
}
err = cmd.Start()
if err != nil {
    return err
}

out := bufio.NewScanner(stdout)
for out.Scan() {
    outfile.Write(out.Bytes())
    outfile.WriteString("\n")
}
if err := out.Err(); err != nil {
    return err
}

这向我证明存在一些竞争条件，在所有输出写入文件之前Go程序退出。我为这个问题增加了一笔赏金，希望有人可以1）解释为什么会这样，2）提供一种非黑客方式（即500毫秒睡眠）来解决它。

Answer 1

首先，清理你的代码。

cmd.Stderr = os.DevNull，所以你忽略了stderr。 Stdout和Stderr指定进程的标准输出和错误。如果其中一个为nil，则Run将相应的文件描述符连接到空设备（os.DevNull）。

cmd.Wait()返回error,您忽略它。 func (c *Cmd) Wait() error。

Wait等待命令退出。它必须由Start.启动您使用Run,而不是Start.

运行此代码后会得到什么输出？

failure.go：

package main

import (
    "fmt"
    "os"
    "os/exec"
)

func main() {
    err := SNTToCOOC("file1.vcb", "file2.vcb", "file3.snt", "out.txt")
    if err != nil {
        fmt.Println(err)
    }
}

func SNTToCOOC(srcVocab, tgtVocab, sntPath, outpath string) error {
    outfile, err := os.Create(outpath)
    if err != nil {
        return err
    }
    defer outfile.Close()
    cmdStr := "snt2cooc"
    args := []string{srcVocab, tgtVocab, sntPath}
    cmd := exec.Command(cmdStr, args...)
    cmd.Stdout = outfile
    cmd.Stderr = os.Stderr
    err = cmd.Run()
    if err != nil {
        return err
    }
    return err
}

执行命令

$ rm -f out.txt && go run failure.go && cat out.txt

此外，当您使用cmd.Stdout = os.Stdout代替cmd.Stdout = outfile运行此代码时，您会得到什么输出。

Answer 2

问题不在于SNTtoCooc的内部，而在于您如何使用cmd.Stdout写入文件本身：

func anyWrite(args []string, outpath string) error {
        outfile, err := os.Create(outpath)
        if err != nil {
                return err
        }

        defer outfile.Close()

        // I use simple "echo" here
        cmd := exec.Command("echo", args...)
        stdout, err := cmd.Output()
        if err != nil {
                return err
        }

        // Use this instead of cmd.Stdout seems to solve the problem
        outfile.Write(stdout)

        return nil
}

func main() {
        args := []string{"Line 1", "Line 2", "Line 3"}
        if err := anyWrite(args, "./outfile.txt"); err != nil {
                panic(err) 
        }
}

根据os/exec

中的comments

Stdout和Stderr指定进程的标准输出和错误。如果要么是nil，Run将相应的文件描述符连接到 null device（os.DevNull）。

无法在Go

2 个答案: