是否可以将参数文件传递给亚马逊的猪作业? 猪命令行支持这一点,但我无法弄清楚亚马逊是否也支持这一点。 主要的想法是,我不需要通过命令行向亚马逊发送大量参数,只需上传文件并使用带有所有值的参数文件。
所以参数文件看起来像这样: PARAM_NAME = param_value。
pig -f script.pig -param_file parameters.log有效,但现在我只需找到亚马逊的替代方案:)
提前致谢。
答案 0 :(得分:1)
解决了它。
要使用参数文件,请在亚马逊上运行,如下所示:
--args "-param_file,s3://<LOCATION_PARAM_FILE>"