IEnumerable与IObservable的不同之处是什么?

时间:2012-03-16 17:15:46

标签: c# system.reactive ienumerator

我很好奇IEnumerableIObservable的不同之处。我分别理解了pull和push模式但是C#在内存等方面如何通知订阅者(对于IObservable)它应该在内存中接收下一位数据来处理?观察到的实例如何知道数据发生了变化以推送到订阅者。

我的问题来自于我正在从文件中读取行的测试。该文件总共约为6Mb。

标准时间:4.7秒,行:36587

Rx拍摄时间:0.68秒,行:36587

Rx如何能够大规模改进文件中每条线的正常迭代?

private static void ReadStandardFile()
{
    var timer = Stopwatch.StartNew();
    var linesProcessed = 0;

    foreach (var l in ReadLines(new FileStream(_filePath, FileMode.Open)))
    {
        var s = l.Split(',');
        linesProcessed++;
    }

    timer.Stop();

    _log.DebugFormat("Standard Time Taken: {0}s, lines: {1}",
        timer.Elapsed.ToString(), linesProcessed);
}

private static void ReadRxFile()
{
    var timer = Stopwatch.StartNew();
    var linesProcessed = 0;

    var query = ReadLines(new FileStream(_filePath, FileMode.Open)).ToObservable();

    using (query.Subscribe((line) =>
    {
        var s = line.Split(',');
        linesProcessed++;
    }));

    timer.Stop();

    _log.DebugFormat("Rx Time Taken: {0}s, lines: {1}",
        timer.Elapsed.ToString(), linesProcessed);
}

private static IEnumerable<string> ReadLines(Stream stream)
{
    using (StreamReader reader = new StreamReader(stream))
    {
        while (!reader.EndOfStream)
            yield return reader.ReadLine();
    }
}

2 个答案:

答案 0 :(得分:5)

我的预感是你所看到的反映操作系统缓存文件的行为。我想如果你颠倒了调用的顺序,你会看到速度上的类似差异,只是换了。

您可以通过执行一些预热运行或在测试每个文件之前使用File.Copy将输入文件复制到临时文件来改进此基准测试。这样文件就不会“热”,你会得到公平的比较。

答案 1 :(得分:1)

我怀疑你正在看到CLR的某种内部优化。它可能会在两次调用之间将文件内容缓存在内存中,这样ToObservable可以更快地提取内容...

编辑:哦,这个有着疯狂昵称的好伙伴eeh ... @sixlettervariables速度更快,他可能是对的:它更像是比CLR更优化的操作系统。