标签: apache-spark
我的用例围绕每次作业执行重新启动/清理SparkSession。当我必须清理SparkSession而无需重新启动时,我目前只在做sparkSession.catalog().clearCache();,但是我想知道Spark Session中是否还有其他实体需要清理,以确保不会携带任何信息下一次执行。
sparkSession.catalog().clearCache();