我想读取一个源文件，并将数据写入带有其他标识列的Spark scala中的.Csv文件

Question

我想读取一个CSV文件并存储到csv文件中，其中包含一些额外的列，如自动生成的列标识列，加载日期时间。

我正在使用sprak 2.0

此致 Manish

Answer 1

您可以使用withColumn方法将列添加到DataFrame。 https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.Dataset@withColumn(colName:String,col:org.apache.spark.sql.Column):org.apache.spark.sql.DataFrame