在Spark中读取数据时如何增加protobuf序列化大小以避免InvalidProtocolBufferException.sizeLimitExceeded异常?

时间:2015-06-04 20:07:00

标签: java hadoop apache-spark protocol-buffers

我正在使用Spark 1.3从HDFS读取protobuf数据流。但是,有些protobufs太大了,我得到了这个例外:

  

com.google.protobuf.InvalidProtocolBufferException:协议消息太大。可能是恶意的。使用CodedInputStream.setSizeLimit()增加size.at com.google.protobuf.InvalidProtocolBufferException.sizeLimitExceeded(InvalidProtocolBufferException.java:110)"

以下是我阅读数据的方式:

  

sc.hadoopConfiguration.set(" protobuf.serialization.max.size"," 268435456")//增加此尺寸不提供帮助

     

val data = sc.newAPIHadoopFileLongWritable,SomeProtobufClass,         SequenceFileInputFormat [LongWritable,SomeProtobufClass]

0 个答案:

没有答案