我正在使用AWS EMR + Spark + Yarn运行简单的hello world python脚本。
查看日志,即使Spark应用程序成功,Yarn资源管理器也会将整个作业标记为失败。
我检查了所有日志,但无法确定根本原因。可能是什么问题?我该如何进一步调试?
答案 0 :(得分:2)
您的日志包含以下声明: -
⚠ functions[whenUserIsAdded]: Deployment error.
Function load error: Code in file index.js can't be loaded.
Did you list all required modules in the package.json dependencies?
Detailed stack trace: Error: Cannot find module 'firebase-functions'
at Function.Module._resolveFilename (module.js:469:15)
at Function.Module._load (module.js:417:25)
at Module.require (module.js:497:17)
at require (internal/module.js:20:19)
at Object.<anonymous> (/user_code/index.js:1:79)
at Module._compile (module.js:570:32)
at Object.Module._extensions..js (module.js:579:10)
at Module.load (module.js:487:32)
at tryModuleLoad (module.js:446:12)
at Function.Module._load (module.js:438:3)
如果您在SparkSession构建器中设置.master(),则会出现这种情况。