在apache spark中3个非空的rdd帧之间进行联合操作后，结果表显示为空白

时间：2017-03-01 10:38:37

标签： apache-spark apache-spark-sql spark-dataframe pyspark-sql

我是新的火花，面临一个奇怪的问题。我有三个RDD数据帧t1frame，t2frame，t3frame，所有这些都是非空的图片给出

t1frame 波纹管enter image description here

t2frame enter image description here

t3frame enter image description here

我首先使用了波纹管代码，我已经导入了reduce和dataframe 

def unionAll(*dfs):
    return reduce(DataFrame.unionAll,dfs)



TTunified=unionAll(t1frame,t2frame,t3frame)
TTunified.show()

enter image description here

我有这张空白的桌子。然后我尝试统一拖曳数据帧

unionframe1=t1frame.union(t2frame)
unionframe1.show()

我得到了相同的结果。即使我已经尝试过基于表格的方法，但没有任何改变。我怎么能解决它，请指导我。我在这里错过了什么。我正在使用pyspark 2.0

0 个答案:

没有答案
相关问题
最新问题