AWS EMR Spark用户缓存文件缓存错误

时间:2019-02-12 14:34:04

标签: amazon-web-services apache-spark hadoop spark-streaming amazon-emr

我正在EMR 5.19上运行Spark Streaming,并且我的Spark Streaming微批随机保持随机失败(其中一些),并出现如下错误: 引起原因:java.io.FileNotFoundException:/mnt/yarn/usercache/hadoop/filecache/113/__spark_libs__7422985314833575431.zip/hadoop-common-2.8.5-amzn-0.jar(无此类文件或目录)

我该如何解决? EMR上的Spark 2.3

0 个答案:

没有答案