Question

我正在阅读以下csv文件：

id,hit,name
0001,00000,foo
0002,00001,bar
0003,00150,toto

作为带有SqlContext的spark Dataframe，它给出了输出：

+--+---+----+
|id|hit|name|
+--+---+----+
|1 |0  |foo |
|2 |1  |bar |
|3 |150|toto|
+--+---+----+

我需要在Dataframe中保留前导零。我尝试了选项＆＃34; allowNumericLeadingZeros＆＃34;设置为true，它不起作用。我看到一些帖子说这是一个excel问题，但我的问题是前导零正在删除Dataframe。

如何将前导零保留在Dataframe中？

谢谢！

Answer 1

public Dataset csv（String ... paths）

加载CSV文件并将结果作为DataFrame返回。如果启用了inferSchema，则此函数将通过输入一次以确定输入模式。要避免遍历整个数据，请禁用inferSchema选项或使用模式显式指定模式。

您可以设置以下特定于CSV的选项来处理CSV文件：

sep（默认值）：将单个字符设置为每个字段和值的分隔符。
编码（默认UTF-8）：按给定的编码类型解码CSV文件。
quote（默认为“）”：设置用于转义引用值的单个字符，其中分隔符可以是值的一部分。如果要关闭引号，则需要设置not null但是为空字符串这种行为与com.databricks.spark.csv不同。
转义（默认值）：设置用于在已引用的值中转义引号的单个字符。
comment（默认空字符串）：设置用于跳过以此字符开头的行的单个字符。默认情况下，它已被禁用。
header（默认为false）：使用第一行作为列的名称。
inferSchema（默认为false）：从数据中自动推断输入模式。它需要对数据进行一次额外的传递。

ignoreLeadingWhiteSpace（默认为false）：定义是否应跳过正在读取的值的前导空格。

ignoreTrailingWhiteSpace（默认为false）：定义是否应跳过正在读取的值的尾部空格。
nullValue（默认空字符串）：设置空值的字符串表示形式。从2.0.1开始，这适用于所有支持的类型，包括字符串类型。
nanValue（默认NaN）：设置非数字“值”的字符串表示形式。 positiveInf（默认Inf）：设置正无穷大值的字符串表示。
negativeInf（默认-Inf）：设置负无穷大值的字符串表示。
dateFormat（默认yyyy-MM-dd）：设置表示日期格式的字符串。自定义日期格式遵循java.text.SimpleDateFormat中的格式。这适用于日期类型。
timestampFormat（默认yyyy-MM-dd'T'HH：mm：ss.SSSZZ）：设置指示时间戳格式的字符串。自定义日期格式遵循java.text.SimpleDateFormat中的格式。这适用于时间戳类型。
java.sql.Timestamp.valueOf（）和java.sql.Date.valueOf（）或ISO 8601格式。 maxColumns（默认为20480）：定义记录可以有多少列的硬限制。
maxCharsPerColumn（默认值1000000）：定义读取的任何给定值所允许的最大字符数。
maxMalformedLogPerPartition（默认值为10）：设置Spark将为每个分区记录的最大错误行数。超出此数字的格式错误的记录将被忽略。
模式（默认为PERMISSIVE）：允许在解析过程中处理损坏记录的模式。
PERMISSIVE：在遇到损坏的记录时将其他字段设置为null。当用户设置架构时，它会为额外字段设置null。
DROPMALFORMED：忽略整个损坏的记录。 FAILFAST：遇到损坏的记录时抛出异常。

参数：

路径 - （未记录）

返回：（无证）以来： 2.0.0

https://spark.apache.org/docs/2.0.1/api/java/org/apache/spark/sql/DataFrameReader.html

示例：

val dataframe= sqlContext.read
    .format("com.databricks.spark.csv")
    .option("header", "true") // Use first line of all files as header
    .option("inferSchema", "true") // Automatically infer data types
    .load("/FileStore/tables/1wmfde6o1508943117023/Book2.csv")

val selectedData = dataframe.select("id","hit","name")

结果：

+---+---+----+
| id|hit|name|
+---+---+----+
|  1|  0| foo|
|  2|  1| bar|
|  3|150|toto|
+---+---+----+

现在更改.option（“inferSchema”，“false”）

val dataframe= sqlContext.read
    .format("com.databricks.spark.csv")
    .option("header", "true") // Use first line of all files as header
    .option("inferSchema", "false") // Automatically infer data types
    .load("/FileStore/tables/1wmfde6o1508943117023/Book2.csv")

val selectedData = dataframe.select("id","hit","name")

结果：

+----+-----+----+
|  id|  hit|name|
+----+-----+----+
|0001|00000| foo|
|0002|00001| bar|
|0003|00150|toto|
+----+-----+----+

Answer 2

您必须在读取数据框时将InferSchema设置为true，删除此选项或将其设置为false

sparkSession.read.option("header","true").option("inferSchema","false").csv("path")

通过这个选项，Spark推断出数据帧的架构并根据找到的值设置dataType，因此spark基本上推断 id 和命中列本质上是数字的所以它正在删除所有前导零。

如需进一步帮助，请查看this

Answer 3

我建议您为schema创建dataframe，并将类型定义为String。

您可以将schema创建为

import org.apache.spark.sql.types._
val schema = StructType(Seq(StructField("id", StringType, true), StructField("hit", StringType, true), StructField("name", StringType, true)))

并在sqlContext中将其用作

val df = sqlContext.read.option("header", true).schema(schema).format("com.databricks.spark.csv")
  .csv("path to csv file")

正如其他人回答你说，真正的罪魁祸首是你可能正在使用.option("inferSchema", true)将id和hit列作为integer并领先0 s被删除。

因此，您可以在没有.option("inferSchema", true)或schema定义的情况下阅读csv文件

我希望答案很有帮助

Scala spark数据帧保持领先零

3 个答案: