Question

为了加速jar到s3的上传，我希望将所有常见的jar复制到普通hadoop中的“$ HADOOP_HOME / lib”。是否可以使用预安装的这些库创建自定义EMR hadoop实例。还是有更简单的方法？

Answer 1

您可以将此作为引导操作。它就像放置脚本来复制到S3一样简单，然后如果你从命令行启动EMR，添加如下参数：

--bootstrap-action 's3://my-bucket/boostrap.sh'

或者，如果您是通过网络界面进行的，只需在相应字段中输入该位置即可。