CKAN可以处理数千个大型500MB-1GB文件吗？

Question

CKAN能够处理数万个平均每个50MB的文件吗？

如果几百个数据集超过1GB，有些数据集大到10GB会怎么样？

这些文件都是netCDF格式。所以，根据我的理解，我不会使用数据存储区，因为我没有预览数据。

类似的问题是Is CKAN capable of dealing with 100k+ files and TB of data?，但有些答案提到了仍处于开发阶段的问题，并未提及GB大小的数据。

Answer 1

如果数据是CSV文件（或Excel表格），那么CKAN的DataPusher通常会将其加载到CKAN的DataStore中，这将为您提供完整的SQL查询API。如果您的NetCDF数据是表格式的并且您想为其提供API，那么您可以为DataPusher添加导入器以用于此格式。

但是所有文件都可以上传到CKAN的FileStore，后者将文件存储在服务器的磁盘上，你可以用nginx服务它们。所以GB文件很好，仅受磁盘空间和带宽的限制。或者只是使用此CKAN扩展名将其放在S3上：ckanext-s3filestore

最后，许多人只使用CKAN来存储链接到其他地方存储在互联网上的文件（例如在附属网站上），当然你可以链接到任何大小的文件。