Question

我正在使用ONCRPC和Google Protobuf创建HDFS的c ++实现。我面临的问题是我发送了一个protobuf对象，其中填充了多个字段（发送序列化字符串，在接收端解析它），然而，在接收端它错误地说是一个这些字段尚未设置/不存在。

这是我的hdfs.proto文件的一部分：

message AssignBlockRequest {
  optional int32 handle = 1; // obtain using call to OpenFile
}

message AssignBlockResponse {
  optional int32 status = 1;
  optional BlockLocations newBlock = 2;
       }

message BlockLocations {
  optional int32 blockNumber = 1;
  repeated DataNodeLocation locations = 2;
}

message DataNodeLocation {
  optional string ip = 1;
  optional int32 port = 2;
}

我在＆＃34;客户端＆＃34;中使用它应用程序查询＆＃34; namenode服务器＆＃34;对于一个新块和一个datanodelocations列表，它可以发送数据写入。

所以，在我的客户中：

AssignBlockResponse assignnewblock_ ( int fhandle, CLIENT* clnt ) {
  AssignBlockRequest req;
  req.set_handle(fhandle);

  //send request to nn
  string str;
  req.SerializeToString(&str);
  static char *cstr = new char[str.length() + 1];
  memcpy(cstr, str.c_str(), str.length()+1);
  char **result_abreq;
  result_abreq = assignblock_1( &cstr, clnt );

  //handle response
  AssignBlockResponse rsp;
  string str_arg (*result_abreq);
  rsp.ParseFromString(str_arg);
  cout << "NN RETURNED : " << rsp.status() << " " << rsp.has_newblock() << endl;

  return rsp;
}

在我的namenode server.cc

中

char **
assignblock_1_svc(char **argp, struct svc_req *rqstp)
{

  AssignBlockRequest req;
  string str_arg (*argp);
  req.ParseFromString(str_arg);

  AssignBlockResponse rsp;

  if ( DataNodeList.empty() ) { // no DN available
    rsp.set_status (1);
  }
  else {
    rsp.set_status (0);

    int BL_NUM = 0;
    vector<int> shuf;

    BlockLocations bl;// = new BlockLocations;
    bl.set_blocknumber(BL_NUM);

    rsp.mutable_newblock()->CopyFrom(bl);
  }
  cout << "NN RETURNED : " << rsp.status() << " " << rsp.has_newblock() << endl;


  string str;
  rsp.SerializeToString(&str);
  static char *cstr = new char[str.length() + 1];
  memcpy(cstr, str.c_str(), str.length()+1);

  return &cstr;
}

NN输出＆＃34; 0 1＆＃34;当客户端收到此AssignBlockResponse类型请求后显示＆＃34; 0 0＆＃34;即它获得正确的状态（通过改变AssignBlockResponse消息中设置的状态进行测试），但从不检测＆＃34; newblock＆＃34; server.cc发送给它的字段。

非常感谢任何帮助。

- 编辑1 -

Protocol buffer serializing with inheritance. Derived classes are empty

这可能是有意义的。我仍然无法让我的代码工作，无论如何。

Answer 1

我在早期的协议缓冲区工作中遇到过这种情况。

不要serializeToString。 serializeToArray首先构建了一个足够大的向量（在Message上调用ByteSize（））

问题是您的序列化字节流包含一个零字节，在将char *转换为字符串时，该字节被解释为字符串结尾。

这意味着您最终会解析一条不完整的消息，从而丢失字段。

收到的Protobuf对象没有所有字段

1 个答案: