当使用spark

时间:2018-08-20 09:11:45

标签: apache-spark elasticsearch elasticsearch-5 elasticsearch-hadoop

我正在使用Spark sql使用jar包查询弹性搜索:
"org.elasticsearch" %% "elasticsearch-spark-20" % "6.3.0" % "provided"
当我在纱线簇上启动spark应用程序时,spark给我
Job aborted due to stage failure: Task 44 in stage 34.0 failed 10 times, most recent failure: Lost task 44.9 in stage 34.0 (TID 241290, worker22.hadoop, executor 177): java.io.InvalidClassException: org.elasticsearch.hadoop.rest.PartitionDefinition; local class incompatible: stream classdesc serialVersionUID = -2132637803214157196, local class serialVersionUID = -8154316510927655818
但是,当我启动本地模式spark应用程序并查询elasticsearch时,我可以完成工作并获得正确的结果。
两者都使用相同的jar版本运行,我无法弄清楚为什么spark这样执行。

0 个答案:

没有答案