pyspark将数据添加到TempTable

Question

我已经从DataFrame

创建了一个临时表

0

现在我想在现有的tempTable中添加一个新的数据帧。

df1 = sqlContext.createDataFrame([(146,000000)],['id','size'])
df1.registerTempTable("table_test")

我尝试了以下

df2 = sqlContext.createDataFrame([(147,000001)],['id','size'])

但后来意识到只能为持久表做这件事。

是否可以将新数据添加到现有的tempTable中。如果是这样，怎么样？

Answer 1

 df3=df1.union(df2) 
 df3.registerTempTable("table_test")
 hc.sql("select * from table_test").show()

+---+----+
| id|size|
+---+----+
|146|   0|
|147|   1|
+---+----+

Answer 2

您可以合并两个数据帧并重新注册临时表

df1.union(df2).registerTempTable("table_test")

Answer 3

火花2或更高的联合，unionAll为1.x.使用相同的cols。