Question

我从protobuf二进制文件io得到了一些奇怪的行为。我正在将文本语料库预处理为protobuf中间文件。我的序列化类看起来如下：

  class pb_session_printer
  {
  public:
    pb_session_printer(std::string & filename)
      : out(filename.c_str(), std::fstream::out | std::fstream::trunc | 
                              std::fstream|binary)
      {}

    void print_batch(std::vector<session> & pb_sv)
    {
      boost::lock_guard<boost::mutex> lock(m);

      BOOST_FOREACH(session & s, pb_sv)
      {
        std::cout << out.tellg() << ":";
        s.SerializeToOstream(&out);
        out.flush();
        std::cout << s.session_id() << ":" << s.action_size() << std::endl;
      }
      exit(0);
    }

    std::fstream out;
    boost::mutex m;
  };

输出片段如下：

0:0:8
132:1:8
227:2:6
303:3:6
381:4:19
849:5:9
1028:6:2
1048:7:18
1333:8:28
2473:9:24

第一个字段显示序列化正常进行。

当我运行加载程序时：

int main()
{
  std::fstream in_file("out_file", std::fstream::in | std::ios::binary);
  session s;

  std::cout << in_file.tellg() << std::endl;
  s.ParseFromIstream(&in_file);
  std::cout << in_file.tellg() << std::endl;
  std::cout << s.session_id() << std::endl;

  s.ParseFromIstream(&in_file);
}

我明白了：

0
-1
111
libprotobuf ERROR google/protobuf/message_lite.cc:123] Can't parse message of type 
"session" because it is missing required fields: session_id

session_id：111是流的末尾的一个条目，我显然不理解库的binary-io设施的语义。请帮忙。

Answer 1

如果您在单个文件中编写多个protobuffers，则需要编写protobuf + protobuffer的大小并单独读取它们（因此，如Cat Plus Plus所提及的那样没有ParseFromIstream）。当您在protobuffer中读取时，可以使用ParseFromArray解析它。

您的文件看起来大小（这些空间仅用于提高可读性）：

尺寸protobuf尺寸protobuf尺寸protobuf等。

Answer 2

Message::ParseFromIstream is documented使用整个输入。由于您要序列化相同类型的消息序列，因此您只需使用该类型的repeated字段创建新消息，然后使用该消息。

协议缓冲区问题，多个序列化成二进制文件

2 个答案: