java.lang.NoSuchMethodError：net.jpountz.lz4.LZ4BlockInputStream。<init>（Ljava / io / InputStream; Z）V在预览中

Question

我正在尝试Google Cloud Data Fusion。 我正在使用连接器+写回BigQuery来连接2个BigQuery表。 在预览中，我收到此错误：java.lang.NoSuchMethodError：net.jpountz.lz4.LZ4BlockInputStream。（Ljava / io / InputStream; Z）V

我将作业设置为Spark而不是Map / Reduce，因为Map / reduce在预览中会产生内存不足的问题。 当我部署并运行该作业时，由于“容器因超出内存限制而被YARN杀死”而崩溃。

最大的表大约有600万条记录，没有任何嵌套字段。较小的表是66条记录。
我没有指定任何分区。

调试/解决此问题的推荐方法是什么？增加工作者/内存的数量？

Answer 1

对于预览错误“ java.lang.NoSuchMethodError：net.jpountz.lz4.LZ4BlockInputStream。（Ljava / io / InputStream; Z）V”，您能否从UI中的预览日志中提供完整的堆栈跟踪？

感谢和问候，

Sagar