从Hive表(Parque)中读取并存储为文本文件

时间:2018-09-06 07:58:22

标签: scala apache-spark hadoop apache-spark-sql hortonworks-data-platform

我已将Hive Table中的数据作为Parquet文件读取到DF中。在对DataFrame进行了一些转换之后,我想在HDFS上另存为TextFile。

我正在使用以下代码。但是,我面临以下两个问题:

val input_data = spark.sql("select * from db.table1")
input_data.coalesce(1).write.mode("overwrite").option("delimiter","\u00A1").csv("/bigdatahdfs/landing/demo.txt")
  1. 文件中写有垃圾字符:(在HDFS上查看文件)

    Viewing file on HDFS

  2. 此外,我还可以控制FileName写入带有一些随机名称的Directory中。

    enter image description here

0 个答案:

没有答案