我有一个AWS数据管道,我正在尝试执行一个步骤,其代码位于S3存储桶中的JAR中。我指定路径和类名,但管道日志读取"警告:跳过远程jar"我的代码永远不会执行。我的步骤是:
command-runner.jar,spark-submit,--deploy-mode,cluster,--master,yarn,--class,com.myorg.myapp.MyClass,s3://MyBucket/my-jar.jar,myArg
现在,在documentation中我似乎可以在远程jar中运行代码,但似乎并非如此?有没有人经历过这个并且做了这个工作?