Question

当我尝试使用十进制类型创建数据框时，它会向我发出以下错误。

我正在执行以下步骤：

import org.apache.spark.sql.Row;
import org.apache.spark.sql.types.StructField;
import org.apache.spark.sql.types.StructType;
import org.apache.spark.sql.types.StringType;
import org.apache.spark.sql.types.DataTypes._;


//created a DecimalType
val DecimalType = DataTypes.createDecimalType(15,10)

//创建架构

val sch = StructType(StructField("COL1",StringType,true)::StructField("COL2",**DecimalType**,true)::Nil)

val src = sc.textFile("test_file.txt")
val row = src.map(x=>x.split(",")).map(x=>Row.fromSeq(x))
val df1= sqlContext.createDataFrame(row,sch)

df1创建没有任何错误。但是，当我发出df1.collect（）动作时，它给了我以下错误：

scala.MatchError: 0 (of class java.lang.String)
    at org.apache.spark.sql.catalyst.CatalystTypeConverters$DecimalConverter.toCatalystImpl(CatalystTypeConverters.scala:326)

test_file.txt内容：

test1,0
test2,0.67
test3,10.65
test4,-10.1234567890

我创建DecimalType的方式有什么问题吗？

Answer 1

您应该有一个BigDecimal的实例转换为DecimalType。

val DecimalType = DataTypes.createDecimalType(15, 10)
val sch = StructType(StructField("COL1", StringType, true) :: StructField("COL2", DecimalType, true) :: Nil)

val src = sc.textFile("test_file.txt")
val row = src.map(x => x.split(",")).map(x => Row(x(0), BigDecimal.decimal(x(1).toDouble)))

val df1 = spark.createDataFrame(row, sch)
df1.collect().foreach { println }
df1.printSchema()

结果如下：

[test1,0E-10]
[test2,0.6700000000]
[test3,10.6500000000]
[test4,-10.1234567890]
root
 |-- COL1: string (nullable = true)
 |-- COL2: decimal(15,10) (nullable = true)

Answer 2

当您将文件读作sc.textFile时，它会将所有值读为string，因此错误是由于在创建schema时应用dataframe

为此，您可以在应用Decimal

之前将第二个值转换为schema

val row = src.map(x=>x.split(",")).map(x=>Row(x(0), BigDecimal.decimal(x(1).toDouble)))

或者，如果您正在读取cav文件，那么您可以使用spark-csv来读取csv文件，并在读取文件时提供架构。

val df = sqlContext.read
    .format("com.databricks.spark.csv")
    .option("header", "true") // Use first line of all files as header
    .option("inferSchema", "true") // Automatically infer data types
    .load("cars.csv")

对于Spark＆gt; 2.0

spark.read
      .option("header", true)
      .schema(sch)
      .csv(file)

希望这有帮助！

Answer 3

解决问题的一种更简单的方法是直接将csv文件作为数据框加载。你可以这样做：

val df = sqlContext.read.format("com.databricks.spark.csv")
  .option("header", "false") // no header
  .option("inferSchema", "true")
  .load("/file/path/")

或者对于Spark＆gt; 2.0：

val spark = SparkSession.builder.getOrCreate()
val df = spark.read
  .format("com.databricks.spark.csv")
  .option("header", "false") // no headers
  .load("/file/path")

输出：

df.show()

+-----+--------------+
|  _c0|           _c1|
+-----+--------------+
|test1|             0|
|test2|          0.67|
|test3|         10.65|
|test4|-10.1234567890|
+-----+--------------+

创建Dataframe时出现DecimalType问题

3 个答案: