我有一个很大的Blob（azure）文件，在一个数组中有10k json对象。由于其大小，此操作无法执行。在重新架构时，我可以在500-1000个对象中的每个对象中创建一个带有单个数组的多个文件，也可以保留一个文件，但可以将单个数组分解为一个数组数组-可能是10个数组每个对象1000个。
为简单起见，我宁愿分成多个文件。但是，我认为这值得提出问题，看看答案中是否有什么要学习的。
答案 0 :(得分：0)
我认为这在很大程度上取决于您的用例。您创建的多个文件或多个数组将以某种方式对数据进行分区：这些分区将主要一起使用还是分开使用？即在许多情况下，您只能读取一个或少数几个分区吗？
如果答案是“是，我通常只关心少数几个分区”，那么创建多个文件将使您不必在大多数呼叫中处理大部分数据。如果答案是“否，我通常将需要1.）所有/大部分数据或2.）来自所有/大部分分区的数据”，那么您可能只想保留一个文件，以避免不得不每次打开许多文件。
我要补充一点：在后一种情况下，很可能会发现文件结构（一个数组还是一个数组数组）并没有太大改变，因为完全扫描就是完全扫描。如果是这种情况，那么您可能需要开始考虑如何转移到对数据进行分区的先前情况，以使您的呼叫整齐地落在几个分区中，或者如何转移到其他数据格式。