java.lang.NumberFormatException：对于输入字符串：“ |”

Question

我已将表导入为

到HDFS中

  

以“ |”结尾的字段

sqoop import \
--connect jdbc:mysql://connection \
--username  \
--password  \
--table products \
--as-textfile \
--target-dir /user/username/productsdemo \
--fields-terminated-by '|'

之后，我试图使用Spark-shell版本1.6.2将其读为RDD

var productsRDD = sc.textFile("/user/username/productsdemo")

并将其转换为数据帧

var productsDF = productsRDD.map(product =>{ 
var o = product.split("|");
products(o(0).toInt,o(1).toInt,o(2),o(3),o(4).toFloat,o(5))
}).toDF("product_id", "product_category_id","product_name","product_description","product_price","product_image" )

但是当我尝试打印输出时，它抛出了以下异常。

java.lang.NumberFormatException：对于输入字符串：“ |”

为什么我会收到此错误，有人可以帮助我吗？

Answer 1

split使用regex进行分割字符串，因为|是正则表达式中的特殊字符，意味着OR您需要使用\\|而不是|拆分时

var o = product.split("\\|");