Spark scala - 输出sql插入操作后的行数

Question

我有一个简单的问题，我无法实现。假设我有以下代码：

...
val df = sparkSession.sql("INSERT OVERWRITE TABLE $DB_NAME.$TABLE_NAME PARTITION (partition) SELECT test, 1 as partition")
val rowCount = df.rdd.count()
printf(s"$rowCount rows has been inserted")
...

如何获取spark sql插入的行数？

Answer 1

在insert语句之前和之后获取可用行的数量并在插入后减去它，如果插入行，则会得到计数。