如何在ami 4中配置应用程序

Question

documentation说

  

在Amazon EMR 4.0及更高版本中，唯一可接受的参数是   应用程序名称。要将参数传递给应用程序，请提供一个   每个应用程序的配置。

但我找不到一个显示如何在ami 4中传递参数的示例。我只能找到配置导出的示例，如下所示。我试图弄清楚如何设置要使用的Spark版本。

[ 
      { 
         "Classification":"hadoop-env",
         "Properties":{ 

         },
         "Configurations":[ 
            { 
               "Classification":"export",
               "Properties":{ 
                  "HADOOP_USER_CLASSPATH_FIRST":"true",
                  "HADOOP_CLASSPATH":"/path/to/my.jar"
               }
            }
         ]
      }
   ]

Answer 1

您不能像使用3.x AMI版本那样设置任意版本的Spark。相反，Spark的版本（当然还有其他应用程序）由发行标签决定。例如，最新版本目前是emr-5.2.1，其中包括Spark 2.0.2。如果你想要一个1.x版本的Spark，可用的最新版本是发行版emr-4.8.3上的Spark 1.6.3。