如何通过Hadoop将两个Data Lake Store连接到两个不同的订阅?

时间:2018-02-20 14:39:36

标签: hadoop azure-data-lake data-lake

问题是这么说..是否有可能通过Hadoop在本地安装/连接两个不同订阅的Azure Data Lake Store?我的目标是能够将文件和文件夹从一个DLS复制到另一个DLS。

我按照guide显示了它如何只使用一个ADL,我设法实现了这一点。通过谷歌搜索我没有找到anthing,所以我尝试修改 core-site.xml ,使其能够从两个DLS读取如下:

<configuration>
    <property>
        <name>dfs.adls.oauth2.access.token.provider.type</name>
        <value>ClientCredential</value>
    </property>
    <property>
      <name>dfs.adls.oauth2.refresh.url</name>
      <value>xxxx</value>
    </property>
    <property>
      <name>dfs.adls.oauth2.refresh.url</name>
      <value>xxxxx</value>
    </property>
    <property>
      <name>dfs.adls.oauth2.client.id</name>
      <value>yyyy</value>
    </property>
    <property>
      <name>dfs.adls.oauth2.client.id</name>
      <value>yyyyyyy</value>
    </property>
    <property>
      <name>dfs.adls.oauth2.credential</name>
      <value>xxyyxh</value>
    </property>
    <property>
      <name>dfs.adls.oauth2.credential</name>
      <value>gsgsdgsdg</value>
    </property>
    <property>
      <name>fs.adl.impl</name>
      <value>org.apache.hadoop.fs.adl.AdlFileSystem</value>
    </property>
    <property>
      <name>fs.AbstractFileSystem.adl.impl</name>
      <value>org.apache.hadoop.fs.adl.Adl</value>
    </property>
</configuration>

但是通过这种方式,我仍然只能访问一个DLS ...一个想法?

0 个答案:

没有答案