我正在使用Spark 1.3从HDFS读取protobuf数据流。但是,有些protobufs太大了,我得到了这个例外:
com.google.protobuf.InvalidProtocolBufferException:协议消息太大。可能是恶意的。使用CodedInputStream.setSizeLimit()增加size.at com.google.protobuf.InvalidProtocolBufferException.sizeLimitExceeded(InvalidProtocolBufferException.java:110)"
以下是我阅读数据的方式:
sc.hadoopConfiguration.set(" protobuf.serialization.max.size"," 268435456")//增加此尺寸不提供帮助
val data = sc.newAPIHadoopFileLongWritable,SomeProtobufClass, SequenceFileInputFormat [LongWritable,SomeProtobufClass]