每次执行转换时,是否需要创建一个新的pyspark数据框?

时间:2018-08-17 11:42:55

标签: python pyspark pyspark-sql

我是PySpark的新手。我了解,与熊猫不同,PySpark数据帧不可更改,并且不允许进行this中所述的就地转换。因此,我很想知道是否可以将变异的数据框存储为与旧数据框相同的名称,

joindf = joindf.withColumn("label", joindf["show"].cast("double"))

我知道此操作与其他编程语言完全一样,可以覆盖旧值。只想确认是否与PySpark相同。任何帮助表示赞赏。预先感谢。

0 个答案:

没有答案