将传入的消息转换为拼花格式

Question

我知道我可以使用spark读取nifi并以拼花格式写入hdfs，但是有没有办法直接从apache-nifi以拼花格式写入HDFS？请提供建议

由于 普拉迪普

Answer 1

是。您可以在NiFi中使用PutParquet处理器。 您必须以avro架构格式提供传入流文件的架构，并指定要将转换后的镶木地板文件保存到的HDFS目录。您可以找到详细的示例here。