如何以蜂巢格式编写结构化查询的结果？

Question

我正在尝试使用DataStreamWriter格式通过hive类将数据插入到配置单元中。

  rdf.writeStream.format("hive").partitionBy("date")
    .option("checkpointLocation", "/tmp/")
    .option("db", "default")
    .option("table", "Daily_summary_data")
    .queryName("socket-hive-streaming")
    .start()

它引发以下错误：

  

org.apache.spark.sql.AnalysisException：Hive数据源只能是   与表一起使用时，无法写入Hive数据源的文件   直接。

如何解决这个问题？

Answer 1

使用hive数据源（根据您可以找到here的情况），无法写出结构化查询的结果。

您可以选择使用parquet格式书写。