亚马逊emr猪:使用参数文件

时间:2014-10-13 13:47:32

标签: amazon apache-pig emr

是否可以将参数文件传递给亚马逊的猪作业? 猪命令行支持这一点,但我无法弄清楚亚马逊是否也支持这一点。 主要的想法是,我不需要通过命令行向亚马逊发送大量参数,只需上传文件并使用带有所有值的参数文件。

所以参数文件看起来像这样: PARAM_NAME = param_value。

pig -f script.pig -param_file parameters.log有效,但现在我只需找到亚马逊的替代方案:)

提前致谢。

1 个答案:

答案 0 :(得分:1)

解决了它。

要使用参数文件,请在亚马逊上运行,如下所示:

--args "-param_file,s3://<LOCATION_PARAM_FILE>"