无法从Pyspark DataFrame中选择超过255列

时间:2018-05-02 10:42:18

标签: python-3.x pyspark spark-dataframe pyspark-sql

我正在尝试从Pyspark DatFrame中选择500列。获取错误为“SyntaxError:超过255个参数”

Df2 = Df\
  .select("col1","col2","col3",...............,"col500")

尝试下面的方法,位也没有用。

cols = ["col1","col2","col3",...............,"col500"]
Df2 = Df\
     .select(cols)

这两种方法都适用于少于255列。

注意:我的Python版本是3.6

请告诉我。感谢。

1 个答案:

答案 0 :(得分:0)

与pissall交谈后,下面是两个可行的解决方案。

案例1。

$output

案例2。

cols = ["col1","col2","col3",...............,"col500"]
Df2 = Df\
 .select(cols)