如果在Apache Spark中找不到数据,是否可以使用一列或另一列获取数据?

时间:2019-02-27 16:49:28

标签: apache-spark pyspark

我有一种情况,需要从json收集数据并放入列中。

是否可以使用WithColumns从json的属性A或属性B填充列?

例如,假设新列将称为db_session_id,并从sessionIdsession_id填充。

我从以下内容开始:

.withColumn('db_session_id', col('json.sessionId'))

它将从sessionId中提取,但是如果在json.sessionId字段中未找到任何内容,如何将其从“ session_id”中提取?

0 个答案:

没有答案