ext性能处理数百万个文件

时间:2015-02-11 00:22:19

标签: linux filesystems ext4

我有一个文件系统,在10级树结构中有4000万个文件(总共约500 GB)。我遇到的问题是备份。 Incr备份(bacula)需要9小时(大约10 GB),性能非常低。有些目录有50k文件,其他10k文件。 HD是硬件RAID,我有默认的Ubuntu LV。我认为这里的瓶颈是文件数量(大量的inode。)我正在努力提高性能(同一FS上的完整备份需要4天以上,读取速度为200k / s)。 - 您认为将FS划分为几个较小的FS会有所帮助吗?我可以有1000个小FS ... - 您认为从高清转向SSD会有所帮助吗? - 有什么建议吗?

谢谢!

1 个答案:

答案 0 :(得分:0)

迁移到SSD将提高备份速度。 SSD会很快感到疲倦,你需要备份...
你不能组织你知道在哪里寻找更改/新文件的东西吗? 这样你就需要增加备份这些文件夹。

您的文件是否必须在线?你有3层深的老树的tar文件吗?

我猜一个发现-mtime -1也需要几个小时。

我希望备份不使用与de tree结构相同的分区 (/ tmp下的所有内容都是一个非常糟糕的计划),bavkup可能生成的临时文件应该在不同的分区上。

新文件来自哪里?当您控制的进程更改所有文件时,您的进程可以生成包含文件列表的日志文件。