我正在尝试使用数组或tuple2列表作为数据帧中的列。当我尝试使用以下结构类型时:
ArrayType(StructType(Array(StructField("_1", StringType), StructField("_2", BinaryType)))
然后将tuple2元素添加到列表或数组中,然后使用具有上述结构类型的行编码器将其添加为行元素,我收到以下消息的异常:
Caused by: java.lang.RuntimeException: scala.Tuple2 is not a valid external type for schema of struct<_1:string,_2:binary>
我尝试在ExpressionEncoders元组方法中使用的struct类型之后模式化我的struct类型。有任何想法吗?我不允许使用Tuple2作为列类型吗?如果是这样,为什么会有一个编码器呢?任何想法或建议将不胜感激!