将空数据框与完整数据框Python合并

时间:2018-08-30 09:02:29

标签: python dataframe pyspark

我有两个Python dataframes,我在填充它们之前进行了测试,所以有时其中一个是空的。

当我对两个数据框进行并集时,它返回AttributeError("'DataFrame' object has no attribute 'union'",),我试图返回不为空的数据框,在这种情况下,我得到了结果。

我的代码的结构:

df_result = sqlContext.createDataFrame(sc.emptyRDD(), schema)

Test if of the first datafarme....

Test if of the second dataframe.....

Final result:

df_result=df1.union(df2)

我该如何合并两个Python数据框,其中一个有时为空?

2 个答案:

答案 0 :(得分:0)

如果DataFrame具有相同的结构,则可以使用df1.append(df2)

答案 1 :(得分:0)

尝试pd.concat

df_out = pd.concat([df1, df2])