与emrfs的Hive

Question

我正在使用sqoop将表从Amazon RDS导入到Hive。该过程正在运行，数据存储在hive默认的hdfs目录中：/ user / hive / warehouse。

我需要将存储位置从hdfs更改为emrfs s3。

据我了解，我需要将属性hive.metastore.warehouse.dir的值（在主节点上的hive-site.xml中）更改为s3 // bucket / warehouse-location。看来我没有权限修改文件hive-site.xml。

我正在寻找一些关于如何最好地做到这一点的建议。

苏迪

Answer 1

您需要sudo权限才能修改masternode上的hive-site.xml文件（通常位于/etc/hive/conf/hive-site.xml中）。

如果这不是一个选项，请尝试在启动群集之前设置此属性。 CloudFormation的一个示例：

                "Configurations" : [
                {
                    "Classification" : "hive-site",
                    "ConfigurationProperties" : {
                        "hive.metastore.warehouse.dir" : "s3://your_s3_bucket/hive_warehouse/",
                    }
                }
            ],

或通过＆＃34;编辑软件设置＆＃34;

部分中的EMR对话框

Answer 2

sudo vi /etc/hive/conf/hive-site

或

sudo -su root
vi /etc/hive/conf/hive-site.xml