如何在datapipeline emr步骤中包含依赖项jar?

时间:2019-04-02 09:49:05

标签: amazon-emr aws-data-pipeline

我在DataPipeline中有一个EMR Spark步骤。 步骤命令为:

   command-runner.jar,spark-submit,--deploy-mode,client,--conf,spark.yarn.executor.memoryOverhead=8192,--class,com.my.class,s3://path/to/jar/myJar.jar,--arg1,arg1

是否可以以某种方式将某些依赖项jar添加到运行时类路径(在--class jar文件中不包括它们)?例如,将罐子存储在S3中并使用命令从那里引用它们?

0 个答案:

没有答案