我正在寻找有关如何组织大量物品的建议。
假设传入速率大约是每天60,000,000个文件,我希望将它们保留180天。
通过每小时分区,顶层将有4320(24 * 180)个目录。每个目录平均包含约2,500,000个文件。
如果我只需要按照完整路径单独获取文件而且我不需要列出目录的内容,是否有任何问题将所有2500000保留在同一级别?
或者我应该散列文件名并将它们存储在多个子目录中? (如果存储在传统文件系统中通常如何完成)
答案 0 :(得分:6)
您可以在存储桶中存储的对象数量没有限制,将对象分解为更多“子目录”不会产生任何可伸缩性或性能差异。对于Google云端存储服务,所有对象名称都是平面的:路径中的“/”看起来就像对象名称中的任何其他字符。
Mike Schwartz,谷歌云存储团队