我正在为我的硕士论文编写一个工具,需要从文件中读取protobuf数据流。到目前为止,我专门在Mac OS上工作,一切都很好,但现在我也试图在Windows上运行该工具。
可悲的是,在Windows上,我无法从单个流中读取多个连续的消息。我试图缩小问题的范围,然后开始关注重现问题的小程序。
#include "tokens.pb.h"
#include <google/protobuf/io/coded_stream.h>
#include <google/protobuf/io/zero_copy_stream_impl.h>
#include <fstream>
int main(int argc, char* argv[])
{
std::fstream tokenFile(argv[1], std::ios_base::in);
if(!tokenFile.is_open())
return -1;
google::protobuf::io::IstreamInputStream iis(&tokenFile);
google::protobuf::io::CodedInputStream cis(&iis);
while(true){
google::protobuf::io::CodedInputStream::Limit l;
unsigned int msgSize;
if(!cis.ReadVarint32(&msgSize))
return 0; // probably reached eof
l = cis.PushLimit(msgSize);
tokenio::Union msg;
if(!msg.ParseFromCodedStream(&cis))
return -2; // couldn't read msg
if(cis.BytesUntilLimit() > 0)
return -3; // msg was not read completely
cis.PopLimit(l);
if(!msg.has_string() &&
!msg.has_file() &&
!msg.has_token() &&
!msg.has_type())
return -4; // msg contains no data
}
return 0;
}
在Mac OS上运行正常并在按预期读取整个文件后返回0。
在Windows上,第一条消息没有问题。对于第二条消息ParseFromCodedInputStream
仍然返回true但不读取任何数据。这会导致BytesUntilLimit
值大于0且返回值为-3。当然,该消息也不包含任何可用数据。来自cis
的任何进一步读取也将失败,就好像已到达流的末尾,即使文件尚未完全读取。
我还尝试使用带有文件描述符的FileInputStream
来获得相同结果的输入。删除Push/PopLimit
并使用显式邮件大小的ReadString
调用读取数据,然后从该字符串解析也无济于事。
使用了以下protobuf文件。
package tokenio;
message TokenType {
required uint32 id = 1;
required string name = 2;
}
message StringInstance {
required string value = 1;
optional uint64 id = 2;
}
message BeginOfFile {
required uint64 name = 1;
optional uint64 type = 2;
}
message Token {
required uint32 type = 1;
required uint32 offset = 2;
optional uint32 line = 3;
optional uint32 column = 4;
optional uint64 value = 5;
}
message Union {
optional TokenType type = 1;
optional StringInstance string = 2;
optional BeginOfFile file = 3;
optional Token token = 4;
}
输入文件似乎没问题。至少它可以被protobuf编辑器(在Windows和Mac OS上)以及Mac OS上的c ++实现读取。
代码经过测试:
我做错了什么?
答案 0 :(得分:2)
将其设为std::fstream tokenFile(argv[1], std::ios_base::in | std::ios_base::binary);
。默认为文本模式;在Mac和其他类Unix系统上它并不重要,但在Windows上,在文本模式下,您可以将CRLF序列转换为LF,并将^ Z(也称为“\ x1A”)字符视为文件结束指示符。巧合的是,这些字符可能出现在二进制流中,并导致麻烦。