SparkSQL释放内存

时间:2018-08-09 01:40:26

标签: scala apache-spark-sql

我有ccala进程,该进程正在使用SparkSQl从.csv文件中读取数据,然后将其加载到表中以使其正常工作,但是在添加其他数据以对其进行处理后,java.io.IOException: No space left on device开始失败,我正在使用AWS

  df_result_day_agg.write.format("jdbc").
    option("url", db_url_2).
    option("dbtable", output_table_name).
    option("user", db_user).
    option("password", db_pwd).
    option("truncate","true").
    option("batchsize", 5000).
    mode("overwrite").save()

我在DB表中有多个负载,如何删除已经完成到DB表中的负载的变量,这样我可以有空闲内存来处理其他步骤并执行其他负载?

0 个答案:

没有答案