如果设为丢弃,则Golang记录器的开销

时间:2019-04-20 17:53:12

标签: go logging overhead

我有一个HTTP处理程序,该处理程序有40个记录器,它们设置为 os.Stdout

这对我来说很好,因为我是目前唯一的一项测试。 但是,在生产过程中,恐怕会产生太多开销。

当前记录器设置为 os.Stdout os.Stderr 。 但是一旦制作完成, os.Stdout 将被设置为 ioutil.discard

Q1。如果我仍然要保留记录器,对性能会有影响吗?

Q2。为了最佳实践,最好将记录程序从HTTP处理程序中完全删除吗?

----更新

package main

import (
    "time"
    "fmt"
    "log"
    "io/ioutil"
    "io"
)

func testPrintf(w io.Writer, note string, cnt int) {
    l := log.New(w, "", 0)
    t1 := time.Now()
    for i:=0; i<cnt; i++ {
        l.Printf("%s - %d", "test", i)
    }
    t2 := time.Now()
    fmt.Printf("%-15s  %-15s, %v\n","Printf ", note, t2.Sub(t1))
}

func testPrintln(w io.Writer, note string, cnt int) {
    l := log.New(w, "", 0)
    t1 := time.Now()
    for i:=0; i<cnt; i++ {
        l.Println("test" + string(i))
    }
    t2 := time.Now()
    fmt.Printf("%-15s  %-15s, %v\n","Println", note, t2.Sub(t1))
}

func testDoNothing(w io.Writer, note string, cnt int) {
    //l := log.New(w, "", 0)
    t1 := time.Now()
    for i:=0; i<cnt; i++ {
        _ = "test" + string(i) // evaluated but didn't do any.
    }
    t2 := time.Now()
    fmt.Printf("%-15s  %-15s, %v\n", "DoNothing", note, t2.Sub(t1))
}

func main() {
    cnt := 10000000 // ten million
    testPrintf(ioutil.Discard, "discard.Attempt.1", cnt)
    testPrintln(ioutil.Discard, "discard.Attempt.1", cnt)
    testDoNothing(ioutil.Discard, "discard.Attempt.1", cnt)
    fmt.Println("\n")
    testPrintf(ioutil.Discard, "discard.Attempt.2", cnt)
    testPrintln(ioutil.Discard, "discard.Attempt.2", cnt)
    testDoNothing(ioutil.Discard, "discard.Attempt.2", cnt)
    fmt.Println("\n")
    testPrintf(ioutil.Discard, "discard.Attempt.3", cnt)
    testPrintln(ioutil.Discard, "discard.Attempt.3", cnt)
    testDoNothing(ioutil.Discard, "discard.Attempt.3", cnt)
}

---结果---

Printf           discard.Attempt.1, 2.663697209s
Println          discard.Attempt.1, 2.4289759s
DoNothing        discard.Attempt.1, 190.480694ms

Printf           discard.Attempt.2, 2.493506245s
Println          discard.Attempt.2, 2.426081786s
DoNothing        discard.Attempt.2, 182.899574ms

Printf           discard.Attempt.3, 2.480853275s
Println          discard.Attempt.3, 2.481552836s
DoNothing        discard.Attempt.3, 180.916608ms
  1. 我每次跑了1000万次。
  2. 2到3秒以10M记录到io。丢弃的速度比我想象的要快。我想我不必担心速度。
  3. os.Stdout我不是故意要使用的; (我最初关心的是使用ioutil.Discard与删除代码来保存代码),但是由于os.Stdout没有缓冲,所以速度很慢。
  4. 顺便说一句,printf()比我想象的要快得多。与println()几乎相同

我不是每天都编写Go代码,因此此测试可能不准确。如果您在测试中看到误导性信息,请在此处留言,以供其他人注意。谢谢。

1 个答案:

答案 0 :(得分:2)

基准

尽管我直言不讳地说将日志放入&111对您的代码影响最小,但我建议您建立一个基准测试测试记录器的性能影响。

幸运的是,Go通过在单元测试中编写一个Discard函数并运行func BenchmarkXxxxx(*testing.B)使其变得非常容易。可以找到更多信息in the documentation。对于您的基准测试,我建议编写两个测试,一个使用go test -bench,另一个使用os.Stdout-确保两个测试的输入相同。

ioutil中的相关代码仅显示“幕后”将发生的情况:

ioutil.Discard

记录最佳做法

一种记录方法是常用的“基于级别的记录”,您可以在其中选择希望记录的消息的严重性(// ioutil.go type devNull int func (devNull) Write(p []byte) (int, error) { return len(p), nil } func (devNull) WriteString(s string) (int, error) { return len(s), nil } / DEBUG / INFO / {{1} }等),然后选择在部署应用程序时要显示的级别(例如,开发中为WARN及以上,生产中为ERROR及以上)。

您会发现Go仅在标准库中提供DEBUGWARN级别的语句,因此您将需要external package才能从诸如此类的东西中受益(这些也可以帮助构造您的日志也采用了更具机器可读性/搜索友好性的JSON格式)。戴夫·切尼(Dave Cheney)已证明了该决定in a blog post背后的理由。

在您的情况下,40条日志语句听起来很多,但这可能取决于有多少个简单的Print日志;处理程序的大小和复杂性等。Error作为开发中的临时措施可能非常有用,Print可以帮助您在故障发生时进行诊断(如果您没有将错误暴露给客户端)。