如何让Spark Thrift Server清理其缓存?

时间:2017-10-23 15:31:01

标签: apache-spark yarn google-cloud-dataproc

我们使用Spark Thrift Server作为ad-hoc SQL查询的长期服务,而不是Hive / Tez。这很好,除了每隔几天它开始填充工作节点上的磁盘。这些文件都在/hadoop/yarn/nm-local-dir/usercache/root/appcache/application_*/blockmgr-{GUID}中,似乎没有被清除。我设置了yarn.nodemanager.localizer.cache.cleanup.interval-msyarn.nodemanager.localizer.cache.target-size-mb,但我认为这仅适用于不再运行的作业。我们没有运行很长时间的单个查询,只有Thrift Server应用程序本身保持运行状态。有没有办法从Spark自动清理这些文件(缺少cron中的一些脚本)?

0 个答案:

没有答案