AWS数据管道在S3中跳过远程JAR

时间:2018-02-22 18:17:44

标签: amazon-data-pipeline

我有一个AWS数据管道,我正在尝试执行一个步骤,其代码位于S3存储桶中的JAR中。我指定路径和类名,但管道日志读取"警告:跳过远程jar"我的代码永远不会执行。我的步骤是:

command-runner.jar,spark-submit,--deploy-mode,cluster,--master,yarn,--class,com.myorg.myapp.MyClass,s3://MyBucket/my-jar.jar,myArg

现在,在documentation中我似乎可以在远程jar中运行代码,但似乎并非如此?有没有人经历过这个并且做了这个工作?

0 个答案:

没有答案