带有列或行最大限制的Pyspark数据框

Question

我有一个用databricks创建的pyspark笔记本。我有一个数据框，需要向其动态添加列，当前的列数为186。当我到达python行的长度为10000时，我看不到None，Lit等和我的笔记本的颜色编码行大小达到10000后，单元格无法识别withcolumn声明。

python中的一行是否有大小限制？如果是这样，是否有更好的方法使用列表将这些许多列添加到数据框中？

谢谢

Yuva

Answer 1

是，选择否是有限制的。数据砖中数据框的列数，您可以使用列表选择所有列。像这样-

df = prv_df.withColumn(******something*********)

cols = ['column_1'
       ,'column_2'
       ,
       ,
       ,
       ,'column_n']

new_df = df.select(cols)

我认为这可以解决您的问题。