Question

我正在尝试将外部MySQL设置为Hive Metastore的EMR集群。我在EC2盒子上创建了MySQL数据库“metastore”，并在下面的hive-site.xml中使用

<configuration>   <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://10.10.xxx.xxx:3306/metastore?createDatabaseIfNotExist=true</value>
    <description>JDBC connect string for a JDBC metastore</description>   </property>   <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hiveuser</value>
    <description>Username to use against metastore database</description>   </property>   <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>xxxxxx</value>
    <description>Password to use against metastore database</description>   </property> </configuration>

群集创建失败，出现以下错误（从stderr文件记录）

org.apache.hadoop.hive.metastore.HiveMetaException：无法获取架构版本。 * schemaTool失败 org.apache.hadoop.hive.metastore.HiveMetaException：无法获取架构版本。 schemaTool失败* /mnt/var/lib/hadoop/steps/s-xxxxxxxxx/./hive-script:617：错误执行cmd：/ usr / share / aws / emr / scripts / hive-script“--install-hive” “--base-path”“s3：//us-west-2.elasticmapreduce/libs/hive” “--hive-versionsCommand退出，返回'1'

请帮忙。

Answer 1

存在一些AWS安全组问题。通过允许访问MySQL端口我解决了这个问题

EMR集群与外部MySQL作为Hive Metastore

1 个答案: