Question

我正在使用HMP dataset。此数据集具有 14 个不同的文件夹（类别），每个类别中都有多个CSV文件。

我想将所有csv文件中的数据读取到单个数据框中。数据架构为

 val Tschema = StructType(Array(
  StructField("X", IntegerType, true),
  StructField("Y", IntegerType, nullable = true),
  StructField("Z", IntegerType, true)
 ))

我另外我想在数据帧中再增加两列。第一列包含包含当前CSV的文件夹（类别）的名称，第二列包含CSV文件的名称。

我尝试了以下代码，但无法正常工作。

val path = System.getProperty("user.home") + "/Desktop/HMP/*"  // Path to all categories
val df =spark.sparkContext.wholeTextFiles(path)
df.toDF().show(5 , false)

我的代码的输出是

+----------------------------------------------------------------------+--------------------+
|                                                                    _1|                  _2|
+----------------------------------------------------------------------+--------------------+
|Climb_stairs/Accelerometer-2012-06-06-14-13-20-climb_stairs-m7.txt    |12 38 35            |
|Climb_stairs/Accelerometer-2012-06-06-14-13-20-climb_stairs-m7.txt    |23 56 34            |
|Climb_stairs/Accelerometer-2012-06-06-14-13-20-climb_stairs-m7.txt    |13 36 36            |
|Climb_stairs/Accelerometer-2012-06-06-14-13-20-climb_stairs-m7.txt    |39 57 42            |
|Climb_stairs/Accelerometer-2012-06-06-14-13-20-climb_stairs-m7.txt    |26 51 36            |
+----------------------------------------------------------------------+--------------------+

在 \ 之前的第一列（_ 1）中，我希望位于单独的列 class 中，其余部分将位于源列。在 _2 部分，我要应用定义的模式。

我希望最终输出如下所示。

+---+---+---+--------------+---------------------+
|  X|  Y|  Z|         class|               source|
+---+---+---+--------------+---------------------+
| 37| 34| 43|  Climb_stairs|Accelerometer-2011...|
| 05| 39| 34|  Climb_stairs|Accelerometer-2011...|
| 30| 53| 49|  Climb_stairs|Accelerometer-2011...|
+---+---+---+-------------+----------------------+

Answer 1

我认为您正在查看本地文件系统中的文件。您可以提供df的详细信息吗？您是否在本地模式下运行Spark？

如果要尝试使用Cloudera VM，可以执行类似的操作，按照以下步骤将其中两个csv文件放入hdfs位置

hdfs dfs -mkdir /files
hdfs dfs -put sample.csv sample2.csv /files/

以

的身份运行spark

spark2-shell
val df = spark.read.csv("/files/")
df.show

要读取文件名和目录，可能需要使用split和input_file_name函数，具体取决于HDFS上文件的确切位置。

您可以添加以下内容。

val df2 = df.withColumn("file_name", split(input_file_name(), "/").getItem(7).cast(StringType))

类似地，您可以玩input_file_name甚至可能玩substr来获取输入目录，具体取决于您想要的部分。

Answer 2

您可以通过将input_file_name与拆分和反向读取一起使用

多个输入文件

scala>  var df_v = spark.read.format("csv").option("header",true).option("inferSchema",true).load("input_file/*.csv")
scala> df_v.show
+---------------+-------------------+
|             id|           DateTime|
+---------------+-------------------+
|340054675199675|15-01-2018 19:43:23|
|340054675199675|15-01-2018 10:56:43|
|340028465709212|10-01-2018 02:47:11|
|340054675199675|09-01-2018 10:59:10|
|340028465709212|02-01-2018 03:25:35|
|340054675199675|28-12-2017 05:48:04|
|340054675199675|21-12-2017 15:47:51|
|340028465709212|18-12-2017 10:33:04|
|340028465709212|16-12-2017 19:55:40|
|340028465709212|16-12-2017 19:55:40|
|340028465709212|12-12-2017 07:04:51|
|340054675199675|06-12-2017 08:52:38|
|       21000101|               null|
|       20991231|               null|
+---------------+-------------------+

应用input_file_name内置函数获取文件名

scala> var df_v1 =df_v.withColumn("file",input_file_name).withColumn("folder",reverse(split($"file","/"))(1)).withColumn("filename",reverse(split($"file","/"))(0))//.drop("file")
scala> df_v1.show(false)
+---------------+-------------------+------------------------------------------+----------+-----------+
|id             |DateTime           |file                                      |folder    |filename   |
+---------------+-------------------+------------------------------------------+----------+-----------+
|340054675199675|15-01-2018 19:43:23|file:///home/mahesh/input_file/test.csv   |input_file|test.csv   |
|340054675199675|15-01-2018 10:56:43|file:///home/mahesh/input_file/test.csv   |input_file|test.csv   |
|340028465709212|10-01-2018 02:47:11|file:///home/mahesh/input_file/test.csv   |input_file|test.csv   |
|340054675199675|09-01-2018 10:59:10|file:///home/mahesh/input_file/test.csv   |input_file|test.csv   |
|340028465709212|02-01-2018 03:25:35|file:///home/mahesh/input_file/test.csv   |input_file|test.csv   |
|340054675199675|28-12-2017 05:48:04|file:///home/mahesh/input_file/test.csv   |input_file|test.csv   |
|340054675199675|21-12-2017 15:47:51|file:///home/mahesh/input_file/test.csv   |input_file|test.csv   |
|340028465709212|18-12-2017 10:33:04|file:///home/mahesh/input_file/test.csv   |input_file|test.csv   |
|340028465709212|16-12-2017 19:55:40|file:///home/mahesh/input_file/test.csv   |input_file|test.csv   |
|340028465709212|16-12-2017 19:55:40|file:///home/mahesh/input_file/test.csv   |input_file|test.csv   |
|340028465709212|12-12-2017 07:04:51|file:///home/mahesh/input_file/test.csv   |input_file|test.csv   |
|340054675199675|06-12-2017 08:52:38|file:///home/mahesh/input_file/test.csv   |input_file|test.csv   |
|21000101       |null               |file:///home/mahesh/input_file/so_date.csv|input_file|so_date.csv|
|20991231       |null               |file:///home/mahesh/input_file/so_date.csv|input_file|so_date.csv|
+---------------+-------------------+------------------------------------------+----------+-----------+

取消注释掉列，如果您不想我只是为了澄清。

将多个文件中的数据读取到单个RDD或Dataframe中

2 个答案: