我在通过Oozie运行Spark作业时遇到了一个问题，因为像第一个作业这样的依赖作业会触发第二个作业，第二个作业会在某些情况下触发第三个作业我因为没有创建SparkContext而得到超时错误最终数据无法加载到Hive，
我通过oozie-Ssh Action在Oozie安排了5个相互依赖的工作。
如果我的描述没有意义，请告诉我，我会粘贴错误
答案 0 :(得分：0)
当存在内存问题时，这是非常常见的，您需要为每个执行程序指定内存以及执行程序的数量。计算对集群的限制并设置变量。
spark-submit --master yarn-cluster --executor-memory 1g --num-executors 3