Question

我在s3上有gzip文件，文件包含代表protobuf消息字节数组的编码Base64字符串。原型计划如下：

syntax = "proto2";
package com.myproject.proto;
option java_outer_classname = "MyProtos";
import "openrtb.proto";

message Request {
    optional int64 timestamp = 1;
    optional com.google.openrtb.BidRequest bidRequest = 2;
    optional string otherData = 3;
}

当我从本地运行flatMap函数的下一个spark代码时：

public static Iterator<MyProtos.Request> parseRequest(String source) {
    try {
        byte[] bytes = Base64.decodeBase64(source);
        MyProtos.Request request = MyProtos.Request.parseFrom(bytes);
        return Collections.singletonList(request).iterator();
    } catch (Exception e) {
        return Collections.emptyIterator();
    }
}

一切都很好，但是当我尝试通过spark-submit在远程运行此代码时，我得到了异常：

java.lang.VerifyError: Bad type on operand stack
Exception Details:
  Location:
    com/google/protobuf/GeneratedMessageV3$ExtendableMessage.hasExtension(Lcom/google/protobuf/GeneratedMessage$GeneratedExtension;)Z @2: invokevirtual
  Reason:
    Type 'com/google/protobuf/GeneratedMessage$GeneratedExtension' (current frame, stack[1]) is not assignable to 'com/google/protobuf/ExtensionLite'
  Current Frame:
    bci: @2
    flags: { }
    locals: { 'com/google/protobuf/GeneratedMessageV3$ExtendableMessage', 'com/google/protobuf/GeneratedMessage$GeneratedExtension' }
    stack: { 'com/google/protobuf/GeneratedMessageV3$ExtendableMessage', 'com/google/protobuf/GeneratedMessage$GeneratedExtension' }
  Bytecode:
    0x0000000: 2a2b b600 21ac

Answer 1

问题出在Runtime Enviroment变量spark.executor.userClassPathFirst中，默认情况下等于false。如果在客户端模式下远程或本地运行spark，则没有此类依赖性冲突问题。

Answer 2

在我的案例中，问题在于该应用程序是使用protobuf 3.5.0构建的，但Spark的jars目录中包含2.5.0。简单的解决方法是放入新的3.5.0 jar。

spark-submit protobuf openrtb java.lang.VerifyError

2 个答案: