Question

我正在为我的硕士论文编写一个工具，需要从文件中读取protobuf数据流。到目前为止，我专门在Mac OS上工作，一切都很好，但现在我也试图在Windows上运行该工具。

可悲的是，在Windows上，我无法从单个流中读取多个连续的消息。我试图缩小问题的范围，然后开始关注重现问题的小程序。

#include "tokens.pb.h"
#include <google/protobuf/io/coded_stream.h>
#include <google/protobuf/io/zero_copy_stream_impl.h>
#include <fstream>

int main(int argc, char* argv[])
{
  std::fstream tokenFile(argv[1], std::ios_base::in);
  if(!tokenFile.is_open())
    return -1;
  google::protobuf::io::IstreamInputStream iis(&tokenFile);
  google::protobuf::io::CodedInputStream cis(&iis);

  while(true){
    google::protobuf::io::CodedInputStream::Limit l;
    unsigned int msgSize;
    if(!cis.ReadVarint32(&msgSize))
      return 0; // probably reached eof
    l = cis.PushLimit(msgSize);

    tokenio::Union msg;
    if(!msg.ParseFromCodedStream(&cis))
      return -2; // couldn't read msg

    if(cis.BytesUntilLimit() > 0)
      return -3; // msg was not read completely

    cis.PopLimit(l);

    if(!msg.has_string() &&
       !msg.has_file() &&
       !msg.has_token() &&
       !msg.has_type())
      return -4; // msg contains no data
  }
  return 0;
}

在Mac OS上运行正常并在按预期读取整个文件后返回0。

在Windows上，第一条消息没有问题。对于第二条消息ParseFromCodedInputStream仍然返回true但不读取任何数据。这会导致BytesUntilLimit值大于0且返回值为-3。当然，该消息也不包含任何可用数据。来自cis的任何进一步读取也将失败，就好像已到达流的末尾，即使文件尚未完全读取。

我还尝试使用带有文件描述符的FileInputStream来获得相同结果的输入。删除Push/PopLimit并使用显式邮件大小的ReadString调用读取数据，然后从该字符串解析也无济于事。

使用了以下protobuf文件。

package tokenio;

message TokenType {
    required uint32 id   = 1;
    required string name = 2;
}

message StringInstance {
    required string value = 1;
    optional uint64 id    = 2;
}

message BeginOfFile {
    required uint64 name = 1;
    optional uint64 type = 2;
}

message Token {
    required uint32 type   = 1;
    required uint32 offset = 2;
    optional uint32 line   = 3;
    optional uint32 column = 4;
    optional uint64 value  = 5;
}

message Union {
    optional TokenType      type   = 1;
    optional StringInstance string = 2;
    optional BeginOfFile    file   = 3;
    optional Token          token  = 4;
}

this is a sample input file。

输入文件似乎没问题。至少它可以被protobuf编辑器（在Windows和Mac OS上）以及Mac OS上的c ++实现读取。

代码经过测试：

在Mac OS 10.8.4上工作，使用Xcode 4.6.3和protobuf 2.5.0
由于不能使用Visual Studio 2012 Ultimate和protobuf 2.5.0编译的Windows 8 64Bit

我做错了什么？

Answer 1

将其设为std::fstream tokenFile(argv[1], std::ios_base::in | std::ios_base::binary);。默认为文本模式;在Mac和其他类Unix系统上它并不重要，但在Windows上，在文本模式下，您可以将CRLF序列转换为LF，并将^ Z（也称为“\ x1A”）字符视为文件结束指示符。巧合的是，这些字符可能出现在二进制流中，并导致麻烦。

从Windows上的文件中读取多个分隔的protobuf消息

1 个答案: