我正在尝试读取Spark中的文件。 文件如下:
bash-4.2$ hdfs dfs -cat /bigdatahdfs/datamart/lba/brains_files/INPUT_FILES/trial.txt
name¡class
sagar¡first
我尝试使用以下方法。
但是,当我尝试查看以下数据时:
scala> fileDF.show
| name??class|
|sagar??first|
任何人都可以帮忙。
val df = spark.read.
format("com.databricks.spark.csv").
option("header", "true"). // Use first line of all files as header
option("inferSchema", "true"). // Automatically infer data types
option("delimiter", "\u0001").
load("/bigdatahdfs/datamart/lba/brains_files/INPUT_FILES/trial.txt")