如何在Amazon EMR上启用HDFS缓存?

时间:2014-09-19 16:40:03

标签: emr hdf

在EMR上启用HDFS Caching的最简单方法是什么?

更具体地说,如何设置dfs.datanode.max.locked.memory并增加可能锁定在内存中的最大大小" (ulimit -l)在所有节点上?

以下代码似乎适用于dfs.datanode.max.locked.memory,我可以编写自定义引导来更新/usr/lib/hadoop/hadoop-daemon.sh并调用ulimit。有没有更好或更快的方式?

elastic-mapreduce --create \
    --alive \
    --plain-output \
    --visible-to-all \
    --ami-version  3.1.0 \
    -a $access_id \
    -p $private_key \
    --name "test" \
    --master-instance-type m3.xlarge \
    --instance-group master --instance-type m3.xlarge  --instance-count 1 \
    --instance-group core --instance-type m3.xlarge --instance-count 10 \
    --pig-interactive \
    --log-uri s3://foo/bar/logs/ \
    --bootstrap-action s3://elasticmapreduce/bootstrap-actions/configure-hadoop \
    --args "--hdfs-key-value,dfs.datanode.max.locked.memory=2000000000" \

0 个答案:

没有答案