通过webHDFS协议将数据流式传输到HDFS

Question

我们喜欢使用Webhdfs（https）协议将流数据写入HDFS。  这可能吗？

Answer 1

是。从CREATE / APPEND获取流句柄后，您必须使用HttpURLConnection.setChunkedStreamingMode（CHUNK_SIZE）

将连接设置为分块。