Question

下面是文件中的数据

PREFIX|Description|Destination|Num_Type
1|C1|IDD|NA
7|C2|IDDD|NA
20|C3|IDDD|NA
27|C3|IDDD|NA
30|C5|IDDD|NA

我正在尝试阅读并转换为Dataframe。

val file=sc.textFile("/user/cloudera-scm/file.csv")
val list=file.collect.toList
list.toDF.show

+--------------------+
|               value|
+--------------------+
|PREFIX|Descriptio...|
|         1|C1|IDD|NA|
|        7|C2|IDDD|NA|
|       20|C3|IDDD|NA|
|       27|C3|IDDD|NA|
|       30|C5|IDDD|NA|
+--------------------+

我无法使用准确的表格格式将其转换为datafram

Answer 1

首先考虑一下您的代码。

// reading a potentially big file
val file=sc.textFile("/user/cloudera-scm/file.csv")
// collecting everything to the driver
val list=file.collect.toList
// converting a local list to a dataframe (this does not work)
list.toDF.show

有多种方法可以使代码正常工作，但逻辑上很尴尬。您正在与执行程序一起读取数据，并将所有数据都放在驱动程序上，以将其简单地转换为数据框（返回执行程序）。这是大量的网络通信，对于任何相当大的数据集，驱动程序很可能会用完内存。

您可以做什么直接将数据读取为这样的数据帧（驱动程序不执行任何操作，并且没有不必要的IO）：

spark.read
    .option("sep", "|") // specify the delimiter
    .option("header", true) // to tell spark that there is a header
    .option("inferSchema", true) // optional, infer the types of the columns
    .csv(".../data.csv").show
+------+-----------+-----------+--------+
|PREFIX|Description|Destination|Num_Type|
+------+-----------+-----------+--------+
|     1|         C1|        IDD|      NA|
|     7|         C2|       IDDD|      NA|
|    20|         C3|       IDDD|      NA|
|    27|         C3|       IDDD|      NA|
|    30|         C5|       IDDD|      NA|
+------+-----------+-----------+--------+

Spark RDD到数据框

1 个答案: