如何在纱线群集模式下正确提交火花作业

时间:2016-07-10 04:29:22

标签: apache-spark pyspark yarn

我正在尝试在pyspark中使用mllib 例如,

from pyspark.mllib.linalg import SparseVector

如果使用纱线客户端模式提交作业,一切正常,但不是在使用纱线群集模式提交时

我尝试使用--py-files $ SPARK_HOME / python / lib / pyspark.zip提交,但没有帮助。

错误消息是容器启动退出代码1的异常 什么可能是潜在的问题??

0 个答案:

没有答案