Spark流作业以Json格式写入Hdfs

时间:2019-06-05 20:12:37

标签: scala apache-spark apache-kafka stream hdfs

我做了一个火花流作业,它从Kafka轮询按摩并将其以json格式存储到Hdfs。从这里获得了一个示例:https://github.com/sryza/simplesparkavroapp/blob/specifics/src/main/scala/com/cloudera/sparkavro/SparkSpecificAvroWriter.scala

还有另一项工作可基于具有以下属性的avro创建配置单元表-AvroContainerInputFormat / AvroConrainerOutputFormat。 现在,我面临一个问题,即生成的json文件无法可视化查询蜂巢表。 似乎输入/输出格式不同 有人遇到过类似的问题吗?

0 个答案:

没有答案