将RDD转换为Spark DataFrame

时间:2019-07-25 14:35:03

标签: apache-spark

我正在尝试从spark2中的rdd创建数据帧。 当我尝试将rdd转换为数据帧时,出现错误,提示以下内容

> btoa('a7:77:d9:20:c8:01:dd:fa:2c:3b:db:b2:ef:c5:5a:1d:ae:f7:28:6f'.split(':').map(hc => String.fromCharCode(parseInt(hc, 16))).join(''))
< "p3fZIMgB3fosO9uy78VaHa73KG8="

这是我的代码

error reading Scala signature of org.apache.spark.sql.package: assertion failed: unsafe symbol Unstable (child of package InterfaceStability) in runtime reflection universe

1 个答案:

答案 0 :(得分:0)

您的RDD到DFF代码没有问题。似乎是有关计算机的库配置的问题。 对于这种锻炼,您可以使用databricks community notebook。 这将使您专注于Spark的功能,而不是库问题。