我正在计算群集上运行conda环境,其中每个“项目”的文件总数受到限制(最多200k个文件)。我只创建了几个conda环境(用于Python 2.7的anaconda;在每个环境中安装了~200个python& R包;环境之间的高包重叠)并且已经达到了文件数限制。即使使用conda clean -a
,也只删除了一小部分文件。我的conda环境中的一些python包(例如,boost)包含> 10k文件,clean不会减少这个。
有没有办法极大地减少作为conda环境一部分存储的文件数量?
答案 0 :(得分:0)
Anaconda使用硬链接来减少占用的磁盘空间。但是,如果对文件数量施加限制,则每个硬链接都会计数。
如评论中所述,使用Miniconda代替Anaconda并仅安装实际需要的软件包可能会有所帮助。
如果这还不够,我建议将您的多个环境合并为一个。这样,重叠的软件包的硬链接就会更少了。当然,这与环境的使用相反,但这就是解决方法的本质。