在EMR上启用HDFS Caching的最简单方法是什么?
更具体地说,如何设置dfs.datanode.max.locked.memory
并增加可能锁定在内存中的最大大小" (ulimit -l
)在所有节点上?
以下代码似乎适用于dfs.datanode.max.locked.memory
,我可以编写自定义引导来更新/usr/lib/hadoop/hadoop-daemon.sh
并调用ulimit
。有没有更好或更快的方式?
elastic-mapreduce --create \
--alive \
--plain-output \
--visible-to-all \
--ami-version 3.1.0 \
-a $access_id \
-p $private_key \
--name "test" \
--master-instance-type m3.xlarge \
--instance-group master --instance-type m3.xlarge --instance-count 1 \
--instance-group core --instance-type m3.xlarge --instance-count 10 \
--pig-interactive \
--log-uri s3://foo/bar/logs/ \
--bootstrap-action s3://elasticmapreduce/bootstrap-actions/configure-hadoop \
--args "--hdfs-key-value,dfs.datanode.max.locked.memory=2000000000" \