合并两个具有相同列数的数据框

Question

我正在寻找一种无条件合并两个数据帧df1和df2的方法，知道df1和df2具有相同的长度，例如：

df1:
+--------+
|Index   |
+--------+
|       0|
|       1|
|       2|
|       3|
|       4|
|       5|
+--------+

df2
+--------+
|Value   |
+--------+
|       a|
|       b|
|       c|
|       d|
|       e|
|       f|
+--------+

结果必须是：

+--------+---------+
|Index   | Value   |
+--------+---------+
|       0|        a|
|       1|        b|
|       2|        c|
|       3|        d|
|       4|        e|
|       5|        f|
+--------+---------+

谢谢

Answer 1

由于两个数据帧中的行数相同

from pyspark.sql import functions as F
from pyspark.sql.window import Window as W
_w1 = W.partitionBy('index')
_w2 = W.partitionBy('value')

Df1 = df1.withColumn('rn_no', F.row_number().over(_w1))

Df2 = df2.withColumn('rn_no', F.row_number().over(_w2))

Df_final = Df1.join(Df2, 'rn_no' , 'left')
Df_final = Df_final.drop('rn_no')

Answer 2

这是@dsk和@anky提出的解决方案

from pyspark.sql import functions as F
from pyspark.sql.window import Window as W
rnum=F.row_number().over(W.orderBy(F.lit(0)))
Df1 = df1.withColumn('rn_no',rnum)
Df2 = df2.withColumn('rn_no',rnum)
DF= Df1.join(Df2, 'rn_no' , 'left')
DF= sjrDF.drop('rn_no')

Answer 3

我猜这和熊猫不一样吗？我本以为你可以简单地说：

df_new=pd.DataFrame()
df_new['Index']=df1['Index']
df_new['Value']=df2['Value']

请介意，自从我使用熊猫以来已经有一段时间了。