我已经在Windows 10环境(伪分布式模式)中安装了Hadoop版本2.8.3,并且可以正常工作。之后,我尝试在其上安装spark 2.3.2。我在pyspark中写火花工作。因此,当我使用spark-submit提交spark作业(python文件)并尝试在yarn UI中查看该作业时,它在失败后进入了YARN UI中的ACCEPTED选项卡。 错误是:
Exception in thread "main" java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric;
我已附上纱线容器原木的图像。
当我提供local [*]而不是用yarn作为主设备时,工作正常。
一个小的建议会很有帮助。