Py-Spark相当于Pandas.dataframe.shift（）方法

Question

以下是我的数据框：

Name    Len
Tom     3
Tommy   5
Rock    4
Rocky   5

我需要关注输出数据框：

Name    Len     New_Name    New_Len
Tom     3       Tommy       5
Tommy   5       Rock        4
Rock    4       Rocky       5
Rocky   5       ...         ...

使用Pandas，我可以使用

实现这一目标

df['new_name'] = df['name'].shift(-1)
df['new_len'] = df['len'].shift(-1)

我可以获得有关如何在PySpark中实现相同功能的任何建议吗？ PySpark中是否有pandas.dataframe.shift()方法的等价物？