我们的集群已迁移到Spark 2.4.3，并且必须进行依赖项代码更改，发现在Spark 2.4.3中使用了Netty 4.0.23，但这在我们的代码测试期间导致了一些依赖项问题。因此，在Maven中为Netty 4.1.37添加了新功能。 Spark 2.4.3与Netty 4.1.37兼容吗？ 在改组期间会在生产中引起任何问题吗？ 我正在尝试使用示例数据，并且运行后记录的数量有所不同 总共有上千万条记录。
netty 4.0错误：
java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.defaultNumHeapArena()
一个更新是依赖问题，它使用hadoop.version 2.7.3依赖关系，它使用netty 4.0，pom中的顺序是hadoop.version，然后是spark-core依赖关系，因此netty 4.0被赋予了优先级。 更改了订单，问题现在已解决