如何在Spark Java中处理此异常

时间:2019-03-05 05:32:02

标签: java eclipse apache-spark apache-spark-sql

在我加载我的csv文件并从列中获取最大值时 java.io.IOException :(第1行)封装的令牌和定界符之间的无效char 这种例外

我的火花代码:

DataFrame df = sqlContext.read()
                                .format("com.databricks.spark.csv")
                                .schema(FpType)
                                .option("header", "false")
                                .option("inferSchema", "true")
                                .option("delimiter", "|")
                                .load("E:/Input.csv")
DataFrame df1=df.groupBy("Col_1").agg(functions.max("Col_2").as("Col_2"));
df1.count().show();

我的输入列包含:“ lab”,“ size”:“ shape” 输入栏中存在这种值,因此在获取max Function时会发生异常

0 个答案:

没有答案