如何搜索大量数据(28TB)以查找过去24小时内最大的10个文件?
根据目前的答案,我试过了:
$ find . -type f -mtime -1 -printf "%p %s\n" | sort -k2nr | head -5
此命令需要24小时才能完成,因此无法搜索过去24小时内最近修改过的内容。是否有任何解决方案比上面的解决方案更快,可以大大缩短搜索时间?监控系统的解决方案也不会起作用,因为监控太多,这样做可能会导致性能问题。
答案 0 :(得分:2)
这样的事情?
$ find . -type f -mtime -1 -printf "%p %s\n" | sort -k2nr | head -5
过去24小时内按尺寸排名前5位的修改过的文件。
答案 1 :(得分:0)
您可以使用标准但功能非常强大的find
命令(start_directory
是扫描文件的目录)
find start_directory -type f -mtime -1 -size +3000G
-mtime -1
选项:在前一天或更少时间修改的文件
-size +3000G
选项:大小至少为3 Gb的文件