使用（hadoop）FileSystem时，spark应用程序中的InvalidProtocolBufferException

Question

使用spark部署java应用时，在使用某些class B: def __init__(self): self.a_list = [1,2] 功能时，我获得了com.google.protobuf.InvalidProtocolBufferException。

我在apache邮件列表中找到了解决方案，我在这里分享了可见性（我花了很长时间才找到它）

Answer 1

解决方案在这里找到： http://apache-spark-user-list.1001560.n3.nabble.com/InvalidProtocolBufferException-Protocol-message-end-group-tag-did-not-match-expected-tag-td21777.html

基本上我尝试使用hdfs-site.xml中找到的端口50070，并尝试使用＆＃39; https＆＃39; 50470，和通常的9000一样。在fs.defaultFS的{​​{1}}属性中找到了正确的端口。