我已将Hive Table中的数据作为Parquet文件读取到DF中。在对DataFrame进行了一些转换之后,我想在HDFS上另存为TextFile。
我正在使用以下代码。但是,我面临以下两个问题:
val input_data = spark.sql("select * from db.table1")
input_data.coalesce(1).write.mode("overwrite").option("delimiter","\u00A1").csv("/bigdatahdfs/landing/demo.txt")
文件中写有垃圾字符:(在HDFS上查看文件)
此外,我还可以控制FileName写入带有一些随机名称的Directory中。