即使Spark应用程序成功执行,Yarn资源管理器也会使应用程序失败

时间:2017-11-28 18:39:30

标签: python apache-spark yarn amazon-emr

我正在使用AWS EMR + Spark + Yarn运行简单的hello world python脚本。

查看日志,即使Spark应用程序成功,Yarn资源管理器也会将整个作业标记为失败。

  • spark应用程序的日志显示成功。 “Hello world”也在stdout中打印出来。 (请参阅pastebin了解应用程序日志)
  • 节点管理器的日志显示没有问题或错误。 (有关节点管理器日志,请参阅pastebin
  • 主控主机上资源管理器的日志显示资源管理器将应用程序标记为FAILED,即使应用程序完成似乎成功。日志中没有明显的原因导致失败! (有关资源管理器日志,请参阅pastebin

我检查了所有日志,但无法确定根本原因。可能是什么问题?我该如何进一步调试?

1 个答案:

答案 0 :(得分:2)

您的日志包含以下声明: -

⚠  functions[whenUserIsAdded]: Deployment error.
Function load error: Code in file index.js can't be loaded.
Did you list all required modules in the package.json dependencies?
Detailed stack trace: Error: Cannot find module 'firebase-functions'
    at Function.Module._resolveFilename (module.js:469:15)
    at Function.Module._load (module.js:417:25)
    at Module.require (module.js:497:17)
    at require (internal/module.js:20:19)
    at Object.<anonymous> (/user_code/index.js:1:79)
    at Module._compile (module.js:570:32)
    at Object.Module._extensions..js (module.js:579:10)
    at Module.load (module.js:487:32)
    at tryModuleLoad (module.js:446:12)
    at Function.Module._load (module.js:438:3)

如果您在SparkSession构建器中设置.master(),则会出现这种情况。