由于有净值,Pyspark 2.3.2无法与hadoop 2.8.3一起使用?

时间:2019-01-16 17:03:05

标签: apache-spark hadoop pyspark yarn

我已经在Windows 10环境(伪分布式模式)中安装了Hadoop版本2.8.3,并且可以正常工作。之后,我尝试在其上安装spark 2.3.2。我在pyspark中写火花工作。因此,当我使用spark-submit提交spark作业(python文件)并尝试在yarn UI中查看该作业时,它在失败后进入了YARN UI中的ACCEPTED选项卡。 错误是:

Exception in thread "main" java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric;

我已附上纱线容器原木的图像。

enter image description here

当我提供local [*]而不是用yarn作为主设备时,工作正常。

一个小的建议会很有帮助。

0 个答案:

没有答案