无法在EMR Spark集群中运行python作业

时间:2019-04-09 11:41:55

标签: amazon-web-services apache-spark amazon-emr

我正在尝试向AWS EMR Spark集群提交python作业。

我在“火花提交选项”部分中的设置如下:

-主纱线-驱动器内存4g-执行器内存2g

但是,我在作业运行过程中遇到了失败的情况。

以下是错误日志文件:

mraid.js

有人知道哪里错了吗?

1 个答案:

答案 0 :(得分:0)

最后我找到了问题。输入数据csv文件的第一行是空行。 它将在我的程序中导致索引超出范围错误