Question

我正在使用AWS EMR + Spark + Yarn运行简单的hello world python脚本。

查看日志，即使Spark应用程序成功，Yarn资源管理器也会将整个作业标记为失败。

spark应用程序的日志显示成功。 “Hello world”也在stdout中打印出来。（请参阅pastebin了解应用程序日志）
节点管理器的日志显示没有问题或错误。（有关节点管理器日志，请参阅pastebin）
主控主机上资源管理器的日志显示资源管理器将应用程序标记为FAILED，即使应用程序完成似乎成功。日志中没有明显的原因导致失败！（有关资源管理器日志，请参阅pastebin）

我检查了所有日志，但无法确定根本原因。可能是什么问题？我该如何进一步调试？

Answer 1

您的日志包含以下声明： -

⚠  functions[whenUserIsAdded]: Deployment error.
Function load error: Code in file index.js can't be loaded.
Did you list all required modules in the package.json dependencies?
Detailed stack trace: Error: Cannot find module 'firebase-functions'
    at Function.Module._resolveFilename (module.js:469:15)
    at Function.Module._load (module.js:417:25)
    at Module.require (module.js:497:17)
    at require (internal/module.js:20:19)
    at Object.<anonymous> (/user_code/index.js:1:79)
    at Module._compile (module.js:570:32)
    at Object.Module._extensions..js (module.js:579:10)
    at Module.load (module.js:487:32)
    at tryModuleLoad (module.js:446:12)
    at Function.Module._load (module.js:438:3)

如果您在SparkSession构建器中设置.master（），则会出现这种情况。

即使Spark应用程序成功执行，Yarn资源管理器也会使应用程序失败

1 个答案: