如何读取带有反感叹号的文件?

时间:2019-04-07 15:10:42

标签: csv apache-spark hdfs

我正在尝试读取Spark中的文件。 文件如下:

bash-4.2$ hdfs dfs -cat /bigdatahdfs/datamart/lba/brains_files/INPUT_FILES/trial.txt
name¡class
sagar¡first

我尝试使用以下方法。

但是,当我尝试查看以下数据时:

scala> fileDF.show

| name??class|
|sagar??first|

任何人都可以帮忙。

val df = spark.read.
format("com.databricks.spark.csv").
option("header", "true"). // Use first line of all files as header
option("inferSchema", "true"). // Automatically infer data types
option("delimiter", "\u0001").
load("/bigdatahdfs/datamart/lba/brains_files/INPUT_FILES/trial.txt")

0 个答案:

没有答案