Question

我正在尝试弄清楚如何从命令行aws-cli向我的aws-emr集群正确添加一个spark步骤。

某些背景：

我有一个需要读入和分析的大型数据集（数千个.csv文件）。我有一个类似于：

的python脚本

analysis_script.py

import pandas as pd
from pyspark.sql import SQLContext, DataFrame
from pyspark.sql.types import *
from pyspark import SparkContext
import boto3

#Spark context
sc = SparkContext.getOrCreate()
sqlContext = SQLContext(sc)

df = sqlContext.read.format("org.apache.spark.sql.execution.datasources.csv.CSVFileFormat").load("s3n://data_input/*csv")

def analysis(df):
    #do bunch of stuff. Create output dataframe
    return df_output

df_output = analysis(df)

df_output.save_as_csv_to_s3_somehow

我希望输出csv文件转到目录s3：// dataoutput /

我是否需要将py文件添加到jar或其他内容？我使用什么命令来使用我的集群节点运行此分析，以及如何将输出输出到正确的directoy？感谢。

我使用以下方式启动群集：

aws emr create-cluster --release-label emr-5.5.0\
--name PySpark_Analysis\
--applications Name=Hadoop Name=Hive Name=Spark Name=Pig Name=Ganglia Name=Presto Name=Zeppelin\
--instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=r3.xlarge InstanceGroupType=CORE,InstanceCount=4,InstanceType=r3.xlarge\
--region us-west-2\
--log-uri s3://emr-logs-zerex/ 
--configurations file://./zeppelin-env-config.json/
--bootstrap-actions Name="Install Python Packages",Path="s3://emr-code/bootstraps/install_python_packages_custom.bash"

Answer 1

我通常使用--steps的{{1}}参数，可以指定为aws emr create-cluster。该文件具有以下外观：

--steps file://mysteps.json

您可以阅读有关步骤here的更多信息。我使用引导脚本将我的代码从[ { "Type": "Spark", "Name": "KB Spark Program", "ActionOnFailure": "TERMINATE_JOB_FLOW", "Args": [ "--verbose", "--packages", "org.apache.spark:spark-streaming-kafka-0-8_2.11:2.1.1,com.amazonaws:aws-java-sdk-s3:1.11.27,org.apache.hadoop:hadoop-aws:2.7.2,com.databricks:spark-csv_2.11:1.5.0", "/tmp/analysis_script.py" ] }, { "Type": "Spark", "Name": "KB Spark Program", "ActionOnFailure": "TERMINATE_JOB_FLOW", "Args": [ "--verbose", "--packages", "org.apache.spark:spark-streaming-kafka-0-8_2.11:2.1.1,com.amazonaws:aws-java-sdk-s3:1.11.27,org.apache.hadoop:hadoop-aws:2.7.2,com.databricks:spark-csv_2.11:1.5.0", "/tmp/analysis_script_1.py" ] } ]加载到S3，然后指定文件中的执行步骤。

至于写给/tmp here的链接可以解释这一点。

从aws-cli

1 个答案: