旋转HDFS上的日志文件

Question

从在Spark集群上执行的bash脚本中，我们记录到已过时的文件（processing.2018-07-25.log）。

LOGFILE="processing.2018-07-25.log"
....
echo 'Log line' | tee -a "$LOGFILE"
....
hdfs dfs -put -f $LOGFILE /user/myuser/logs

现在，我们希望删除早于x天的日志文件，以使日志轮换。

是否有与HDFS兼容的内置函数或lib（bash / hadoop / spark），还是应该手动完成？

谢谢。