通道多路复用器

时间:2013-10-04 23:44:31

标签: go channel

注意 - Go中的新手。

我写了一个多路复用器,应该将一组通道的输出合并为一个。对建设性的批评感到高兴。

func Mux(channels []chan big.Int) chan big.Int {
    // Count down as each channel closes. When hits zero - close ch.
    n := len(channels)
    // The channel to output to.
    ch := make(chan big.Int, n)

    // Make one go per channel.
    for _, c := range channels {
        go func() {
            // Pump it.
            for x := range c {
                ch <- x
            }
            // It closed.
            n -= 1
            // Close output if all closed now.
            if n == 0 {
                close(ch)
            }
        }()
    }
    return ch
}

我正在测试它:

func fromTo(f, t int) chan big.Int {
    ch := make(chan big.Int)

    go func() {
        for i := f; i < t; i++ {
            fmt.Println("Feed:", i)
            ch <- *big.NewInt(int64(i))
        }
        close(ch)
    }()
    return ch
}

func testMux() {
    r := make([]chan big.Int, 10)
    for i := 0; i < 10; i++ {
        r[i] = fromTo(i*10, i*10+10)
    }
    all := Mux(r)
    // Roll them out.
    for l := range all {
        fmt.Println(l)
    }
}

但我的输出非常奇怪:

Feed: 0
Feed: 10
Feed: 20
Feed: 30
Feed: 40
Feed: 50
Feed: 60
Feed: 70
Feed: 80
Feed: 90
Feed: 91
Feed: 92
Feed: 93
Feed: 94
Feed: 95
Feed: 96
Feed: 97
Feed: 98
Feed: 99
{false [90]}
{false [91]}
{false [92]}
{false [93]}
{false [94]}
{false [95]}
{false [96]}
{false [97]}
{false [98]}
{false [99]}

所以我的问题:

  • 在Mux中我有什么问题吗?
  • 为什么我只从输出频道获得最后10个?
  • 为什么喂食看起来很奇怪? (每个输入通道的第一个,所有最后一个通道,然后什么都没有)
  • 有更好的方法吗?

我需要所有输入通道对输出通道具有相同的权限 - 即我不能从一个通道获得所有输出,然后从下一个通道获得所有输出。


对于任何感兴趣的人 - 这是修复后的最终代码以及sync.WaitGroup的正确(大概)使用

import (
    "math/big"
    "sync"
)

/*
  Multiplex a number of channels into one.
*/
func Mux(channels []chan big.Int) chan big.Int {
    // Count down as each channel closes. When hits zero - close ch.
    var wg sync.WaitGroup
    wg.Add(len(channels))
    // The channel to output to.
    ch := make(chan big.Int, len(channels))

    // Make one go per channel.
    for _, c := range channels {
        go func(c <-chan big.Int) {
            // Pump it.
            for x := range c {
                ch <- x
            }
            // It closed.
            wg.Done()
        }(c)
    }
    // Close the channel when the pumping is finished.
    go func() {
        // Wait for everyone to be done.
        wg.Wait()
        // Close.
        close(ch)
    }()
    return ch
}

3 个答案:

答案 0 :(得分:2)

Mux产生的每个goroutine都会从同一个频道中拉出来,因为c会在循环的每次迭代中得到更新 - 它们不只是捕获{{1}的值}。如果您将通道传递给goroutine,您将获得预期的结果:

c

您可以测试此修改here

另一个可能的问题是您对for _, c := range channels { go func(c <-chan big.Int) { ... }(c) } 变量的处理:如果您使用n运行,则可能会有两个goroutine尝试立即更新它。 GOMAXPROCS != 1类型是等待goroutine完成的更安全的方式。

答案 1 :(得分:2)

事后我知道,但是我写了一个包,它实现了类似于这个的通用Multiplex功能。它使用反射包中的“select”调用来确保高效和平衡的多路复用,而无需锁定或等待组。

答案 2 :(得分:0)

要构建James Hentridge答案,使用range语句时处理重新分配问题的惯用方法是将一个局部变量分配给所涉及的值:

for _, c := range channels {
    c := c
    go func() {
    ...
    }()
}