通过webHDFS协议将数据流式传输到HDFS

时间:2018-01-16 22:24:10

标签: hadoop-streaming webhdfs knox-gateway

我们喜欢使用Webhdfs(https)协议将流数据写入HDFS。  这可能吗?

1 个答案:

答案 0 :(得分:0)

是。从CREATE / APPEND获取流句柄后,您必须使用HttpURLConnection.setChunkedStreamingMode(CHUNK_SIZE)

将连接设置为分块。