我正在使用bash操作员来执行火花提交作业。火花作业需要一些参数。最后一个参数是一个字符串，可以使用“，”和“ |”转换为嵌套数组。分裂。 示例提交命令：
spark-submit --verbose --master yarn --deploy-mode cluster --queue some_queue job.jar <dt> <s3bucket> <xx:yyy,zzz|ss:aaa,bbb>
奇怪的是，当火花作业完成时，它输出：
final status: SUCCEEDED
Command exited with return code 127
ERROR - Bash command failed
有人遇到相同的问题，我该如何解决？我还有许多其他的气流作业，它们使用bash运算符运行spark Submit命令，从来没有像这样的问题。
答案 0 :(得分：0)
在最后一个参数中退出管道，如下所示：
spark-submit --verbose --master yarn --deploy-mode cluster --queue some_queue job.jar <dt> <s3bucket> <xx:yyy,zzz\|ss:aaa,bbb>
OR
spark-submit --verbose --master yarn --deploy-mode cluster --queue some_queue job.jar <dt> <s3bucket> "<xx:yyy,zzz|ss:aaa,bbb>"