我可以在Azure HDInsight中使用WebHDFS吗？

Question

我已经创建了一个以Azure存储作为其HDFS的HDInisght。而且我想知道是否可以使用webHDFS api将二进制文件上传到HDFS。

我尝试了https://<HOST>:<HTTP_PORT>/webhdfs/v1/。但是我不确定Host和Http_port。

与此同时，我检查了hdfs-site.xml并发现

  <property>
    <name>dfs.webhdfs.enabled</name>
    <value>false</value>
    <final>true</final>
  </property>

是否应该将值设置为True，然后可以使用它？

Answer 1

注意：Azure HDInsight不支持WebHDFS。

您无需创建HDInsight群集即可使用WebHDFS与ADLS对话。

1. Azure存储不兼容WebHDFS。

2. Azure Data Lake Store是与Hadoop分布式文件系统（HDFS）兼容并与Hadoop生态系统兼容的云级文件系统。使用WebHDFS API的现有应用程序或服务可以轻松地与ADLS集成。

参考： WebHDFS FileSystem APIs

1. ADLS Gen2与Hadoop Filesystem兼容，并且针对云规模的大数据分析存储进行了优化，并且与WebHDFS不兼容。