如何/频繁的unix tee命令将stdout终端输出写入文件?如果输出太大

时间:2016-01-07 14:27:27

标签: linux bash unix tee

我正在将一些工具stdout重定向到tee命令,以便在终端和日志文件中看到当前进度

以下是我运行工具的代码片段,其stdout被送到tee命令,此代码片段是从tcl脚本编写的。

$(EH_SUBMIT) $(ICC_EXEC) $(OPTIONS) -f ./scripts/$@.tcl | tee -i ./logs/$@.log

我可以在终端上看到当前的实时进度,但在日志文件中没有看到相同的观察结果!并且它通过块

将stdout写入日志文件块

tee如何运作?它是按块还是时间或两者写的? 如果阻止什么是最小块大小?如果是最短持续时间的时间?

我需要解析一些数据分析的实时日志条目(当我通过tail -f读取日志文件,然后在日志文件增长时推送新数据。)

2 个答案:

答案 0 :(得分:4)

除非程序自己处理缓冲,否则在libc中处理IO流的缓冲。标准行为是:如果缓冲区输出到终端,则缓冲输出,如果它转到非终端,则意味着缓冲输出,意味着文件或管道。这就是为什么输出出现在日志文件中的原因如下所示:chunk by chunk。此行为用于性能优化。

在Linux上,stdbuf命令可用于运行带有调整缓冲区的程序。你需要像这样运行你的程序:

stdbuf -oL your_program >> your.log &
tail -f your.log

-oL表示缓冲区stdout linewise。

答案 1 :(得分:2)

来自the POSIX spec for tee,重点补充:

  

tee实用程序应将标准输入复制到标准输出,将副本复制为零个或多个文件。 tee实用程序不得缓冲输出。

所以 - tee不是你的问题。几乎可以肯定你的程序正在缓冲它写入stdout的内容(这是许多编程语言中的默认语言,包括C,当stdout不是TTY时)。

stdbuf -oL yourProgram | tee file

...如果您的程序依赖于标准C库来确定其默认行为,请将其禁止。