如果我不知道数据库中元素的结束数量，我应该使用NumPy数组吗？

Question

我在卫星监控数据库工作，经常更新。

我的区域有大量像素，可以像2D阵列一样成像，像素数量不变。

它的每个元素都是一个子数组，其中包含无限数量的元素，表示监视日期。

此子阵列的每个元素由3个固定元素组成（YEAR，Day_of_the_year，reflectance_value）。

Image of a database structure

为了节省一些内存和空间，我不能只创建一个庞大的数组，除了时间，数据库将被填满。

因此，当我有一个新的卫星图像时，我想创建一个新的子阵列。

我想将这个数据库存储在HDF5格式的磁盘上，因为我听说它非常擅长处理大型数组（将来我需要用这个基础做一些数学运算）。

1）问题是我应该使用NumPy数组来处理这样的基础吗？

2）如果没有 - 如何使用python处理这些经常更新的数据？

我读到每次将数据附加到numpy数组时都会将其复制到内存中，因此处理像我这样的大数据库会很慢。