Question

我每秒更新数据生成数百万行，如下所示：

104500 4783
104501 8930
104502 21794
104503 21927
104505 5746
104506 9968
104509 5867
104510 46353
104511 7767
104512 4903

左侧的列表示时间（hhmmss格式），右侧的列表示逐秒更新的数据。然而，正如你所看到的，它实际上并不是秒，并且有一些缺失的时间（本例中缺少10：45：04,10：45：07,10：45：08）。我的目标是添加丢失的秒数，并将前一秒的数据用于缺少的秒数，如下所示：

104500 4783
104501 8930
104502 21794
104503 21927
104504 21927 --
104505 5746
104506 9968
104507 9968 --
104508 9968 --
104509 5867
104510 46353
104511 7767
104512 4903

我不希望结果中出现“ - ”，我只是把那些放在那里标记添加的行。到目前为止，我已经尝试使用StreamReader和StreamWriter来实现这一点，但似乎他们不会得到我想要的东西。我是新手程序员和C＃的新手，所以如果你能指出我正确的方向，那就太好了。我真的只是想知道在C＃中是否可以做到这一点......我花了很多时间在MSDN上，在这里寻找解决方案，但到目前为止还没有找到任何解决方案。

编辑：这些行位于文本文件中，我想将新创建的数据存储在新的文本文件中。

Answer 1

你需要把一些事情放在一起。

逐行阅读文件：请参阅此处：Reading a Text File One Line at a Time
逐行编写文件：StreamWriter.WriteLine
跟踪最后一条读取线。（只需在你读取行的while循环中使用变量）
检查是否有差距。也许通过使用string.Split解析第一列（TimeSpan.Parse）。如果存在间隙，则写入最后一条读取行，增加时间跨度。

Answer 2

好的，这是整个射击比赛，测试并对抗你的测试数据：

public void InjectMissingData()
{
    DataLine lastDataLine = null;
    using (var writer = new StreamWriter(File.Create("c:\\temp\\out.txt")))
    {
        using (var reader = new StreamReader("c:\\temp\\in.txt"))
        {
            while (!reader.EndOfStream)
            {
                var dataLine = DataLine.Parse(reader.ReadLine());

                while (lastDataLine != null && dataLine.Occurence - lastDataLine.Occurence > TimeSpan.FromSeconds(1))
                {
                    lastDataLine = new DataLine(lastDataLine.Occurence + TimeSpan.FromSeconds(1), lastDataLine.Data);
                    writer.WriteLine(lastDataLine.Line);
                }

                writer.WriteLine(dataLine.Line);

                lastDataLine = dataLine;
            }
        }
    }
}

public class DataLine
{
    public static DataLine Parse(string line)
    {
        var timeString = string.Format("{0}:{1}:{2}", line.Substring(0, 2), line.Substring(2, 2),
                                       line.Substring(4, 2));

        return new DataLine(TimeSpan.Parse(timeString), long.Parse(line.Substring(7, line.Length - 7).Trim()));
    } 

    public DataLine(TimeSpan occurence, long data)
    {
        Occurence = occurence;
        Data = data;
    }

    public TimeSpan Occurence { get; private set; }
    public long Data { get; private set; }

    public string Line
    {
        get { return string.Format("{0}{1}{2} {3}", 
            Occurence.Hours.ToString().PadLeft(2, Char.Parse("0")), 
            Occurence.Minutes.ToString().PadLeft(2, Char.Parse("0")), 
            Occurence.Seconds.ToString().PadLeft(2, Char.Parse("0")),
            Data); }
    }
}

Answer 3

对于所有答案，考虑到您正在讨论大文件，考虑使用MemoryMappedFiles，可以阅读here以了解如何在C＃中使用它们。

这是 not performance 改进，但内存改进定义为。

Answer 4

至于在某些文件之间插入新条目，我建议在文本文件中读取分隔的行，然后将它们存储在List中。这样，您可以使用Insert(...)方法插入新行。从那里，您可以将行写回文件。

在阅读这些行时，您可以使用System.IO.File类中的任一静态辅助方法：ReadAllText和ReadAllLines。

注意：我已经为我提到的每个方法和类添加了MSDN文档的链接，因为你说你不熟悉C＃和编程。

Answer 5

String prevTime;
String prevData;

while(String line = myStreamReader.ReadLine())
{
    String[] parts = line.Split(new Char[] { ' ' });
    String time = parts[0];
    String data = parts[1];

    Int32 iPrevTime = Int32.Parse(prevTime);
    Int32 iCurrentTime = Int32.Parse(time);

    // May need to loop here if you're missing more than one second
    if(iCurrentTime > iPrevTime + 1)   
          AddData((iPrevTime + 1).ToString(), prevData);

    AddData(time, data);
    prevTime = time;
    prevData = data;
}

这是一些让你入门的伪代码。我想你会想要这种算法。

Answer 6

这假设时间永远不会超过一秒。如果这个假设是错误的，那么修改下面的内容很容易，所以它会在每个缺失的第二个循环中写入lastValue。更新我在你的例子中错过了它实际上可能会错过多秒。我改变了下面的例子来解决这个问题。

using (StreamReader reader = OpenYourInputFile())
using (StreamWriter writer = OpenYourOutputFile())
{
   TimeSpan? lastTime;
   TimeSpan currentTime, maxDiff = TimeSpan.FromSeconds(1);
   string lastValue, currentline, currentValue, format = "{0:hhmmss} {1}";

   while( (currentLine = reader.ReadLine()) != null)
   {
      string[] s = currentLine.Split(' ');
      currentTime = DateTime.ParseExact("hhmmss", s[0] CultureInfo.InvariantCulture).TimeOfDay;
      currentValue = s[1];

      if (lastTime.HasValue && currentTime - lastTime.Value > maxDiff) 
      { 
        for(int x = 1; x <= (currentTime - lastTime).Seconds; x++) writer.WriteLine(string.Format(format, DateTime.Today.Add(lastTime).AddSeconds(x), lastValue);
      }

      writer.WriteLine(string.Format(format, DateTime.Today.Add(currentTime), currentValue);

      lastTime = currentTime;
      lastValue = currentValue;
   }

}

Answer 7

以下是一些粗略的代码。我没有妥善处理所有事情，只是为了让你开始。

        DateTime lastTime;
        string lastValue = null;
        StreamReader reader = File.OpenText("path");
        StreamWriter writer = new StreamWriter(File.OpenWrite("newPath"));

        while (!reader.EndOfStream)
        {
            string[] lineData = reader.ReadLine().Split(' ');
            DateTime currentTime = DateTime.Parse(lineData[0]);
            string value = lineData[1];

            if (lastValue != null)
            {
                while (lastTime < currentTime.AddSeconds(-1))
                {
                    lastTime = lastTime.AddSeconds(1);
                    writer.WriteLine("{0} {1}", lastTime, lastValue);
                }
            }
            writer.WriteLine("{0} {1}", currentTime, value);
            lastTime = currentTime;
            lastValue = value;
        }

Answer 8

        string line;//The line that is read.
        string previousLine = "0 0";
        int prevTime = 0;

        //These "using"'s are so that the resources they use will be freed when the block ( i.e. {} ) is finished.
        using (System.IO.StreamReader originalFile = new System.IO.StreamReader("c:\\users\\Me\\t.txt"))
        using (System.IO.StreamWriter newFile = new System.IO.StreamWriter("c:\\users\\Me\\t2.txt"))
        {
            while ((line = originalFile.ReadLine()) != null)
            {
                //"Split" changes the words in "line" (- that are separated by a space) to an array. 
                //"Parse" takes the first in that array (by using "[0]") and changes it into an integer.
                int time = int.Parse(line.Split(' ')[0]);
                while (prevTime != 0 && time > ++prevTime) newFile.WriteLine(prevTime.ToString() + " " + previousLine.Split(' ')[1]);

                previousLine = line;
                prevTime = time;
                newFile.WriteLine(line);
            }
        }

操纵数据线

8 个答案: