在AWS EMR中编辑配置文件

时间:2018-02-01 09:29:10

标签: amazon-web-services hadoop amazon-s3 amazon-emr

我在哪里可以找到AWS EMR的配置文件?主要是我正在寻找hue.ini文件,我启动了一个新的集群,打开了hue UI,创建了新的超级用户并登录。然后我在该区域看到我所有的s3桶,但我无法访问存储桶中的文件,我一直收到这个错误 -

Failed to access path: "s3a://data-storage" Check that you have access to read this bucket and that the region is correct: Bad Request.

然后我尝试将我的s3帐户添加到色调 - http://gethue.com/introducing-s3-support-in-hue/。根据此AWS链接 - https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps.html,我尝试将其添加到群集中的配置中。

  1. 根据上面的AWS链接,他们说我只有在创建群集时才添加它,我们不能添加到现有群集中吗?如果是这样,我可以在哪里添加它?
  2. 如何在AWS配置中使用s3在Hue和hadoop中添加s3配置?任何例子都会有所帮助。

1 个答案:

答案 0 :(得分:1)

  

他们说我必须在我创建群集时添加它

是的,因为如果您打算关闭EMR群集,并在下次启动时引导一台单独的计算机,那么您将丢失配置。群集设置中有一个“高级选项”部分,您可以在其中指定配置JSON对象。

EMR Hue自动配置为读取S3,假设IAM角色允许它这样做,但是欢迎您在群集启动后编辑hue.ini

/usr/lib/hue/desktop/conf/hue.ini 

编辑后,

sudo reload hue