Question

我已在我的本地Windows系统中安装了Hive，我已将其配置为使用MySQL作为Metastore，我需要将其配置为使用Azure Data lake作为仓库。如何配置配置单元以将Azure Datalake用作仓库？。

Answer 1

这是可能的，但您必须相应地配置本地hadoop系统。确保您拥有最新的ADLS库并修改cores-site.xml以访问Azure Data Lake Store：

<configuration>
  <property>
        <name>dfs.adls.oauth2.access.token.provider.type</name>
        <value>ClientCredential</value>
  </property>

  <property>
      <name>dfs.adls.oauth2.refresh.url</name>
      <value>YOUR TOKEN ENDPOINT</value>
  </property>
  <property>
      <name>dfs.adls.oauth2.client.id</name>
      <value>YOUR CLIENT ID</value>
  </property>
  <property>
      <name>dfs.adls.oauth2.credential</name>
      <value>YOUR CLIENT SECRET</value>
  </property>
  <property>
      <name>fs.adl.impl</name>
      <value>org.apache.hadoop.fs.adl.AdlFileSystem</value>
  </property>
  <property>
      <name>fs.AbstractFileSystem.adl.impl</name>
      <value>org.apache.hadoop.fs.adl.Adl</value>
  </property>  
</configuration>

可以找到分步指南here。

最后确保在hive-site.xml中你的“hive.metastore.warehouse.dir”指向ADL。

Answer 2

这不是Azure Data Lake支持的用例。 Azure Data Lake是一个基于云的数据湖，目前支持HDInsight，Azure Data Lake Analytics或Azure Databricks作为其计算引擎。它无法与本地运行的Hive实例连接。

如何配置本地安装的配置单元以将Azure Datalake用作仓库？

2 个答案: