我想在流处理中使用HDFS接收器将二进制键值对的数据写入HDFS。因此,像序列文件这样的薄包装器格式就足够了。 HDFS接收器模块是否支持将键值写入HDFS序列文件?
提前致谢!
答案 0 :(得分:0)
看起来这还有待解决:https://jira.spring.io/browse/XD-992。你可以投票了。如果您想贡献,欢迎您。有关如何开发模块的示例,请参阅Spring XD文档和https://github.com/spring-projects/spring-xd-modules。
此外,仅供参考:有while answer = -1 and then j > 12 loop
aux:= true;
for k in 1..j loop
c := Polynomial(k+1);
Polynomial(k) := Polynomial(k+1) - Polynomial(k);
aux:= aux and abs(Polynomial(k)) < abs (c * 0.005); --Almost equal
end loop;
if aux then
aux := 19 - j;
end if;
j := j-1;
end loop;
接收器模块支持Avro / Parquet格式。
https://github.com/spring-projects/spring-xd/blob/master/modules/sink/hdfs-dataset/config/hdfs-dataset.xml