Question

是否可以使用gdal的WriteArray逐行写入数据，而不是创建并将其提供给整个数组？

我在创建一个大小不合适的数组（50539,98357）时遇到MemoryError。我想我可以绕过这个by using PyTables，但我宁愿不要复杂化事情

>>> import numpy
>>> cols = 50539
>>> rows = 98357
>>> a1 = np.zeros((cols,rows))
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
NameError: name 'np' is not defined
>>> import numpy as np
>>> a1 = np.zeros((cols,rows))
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
MemoryError

更新我最终使用Abudis的解决方案结合稀疏矩阵，我在其中保存了点，将每一行拉出为“密集”或标准矩阵。欢迎评论。

dataset = driver.Create(filename, cols, rows, number_of_bands, band_type)
band = dataset.GetRasterBand(1)
offset = 1 # i.e. the number of rows to write with each iteration

# values, pixel_x, and pixel_y defined earlier in my script
data = scipy.sparse.csr_matrix((values,(pixel_y,pixel_x)),dtype=float)

# iterate data writing for each row in data sparse array
for i in range(data.shape[0]):
    data_row = data[i,:].todense() # output row of sparse array as standard array
    band.WriteArray(data_row,0,offset*i)
band.SetNoDataValue(NULL_VALUE)
band.FlushCache()

Answer 1

这里不是gdal专家，但看起来这很有效。因此，诀窍是使用WriteArray方法的yoff参数。这样就可以将数据写入文件块中。我们基本上只是在编写下一个数据块时设置偏移量。

import numpy as np
import gdal

cols = 50539
rows = 10000
offset = 1000

dst_filename = 'test.tif'
format = 'GTiff'
driver = gdal.GetDriverByName(format)

dst_ds = driver.Create(dst_filename, cols, rows, 1, gdal.GDT_Byte)

for i in range(10):
    # generate random integers from 1 to 10
    a = np.random.random_integers(1, 10, size=(offset, cols))
    # write data to band 1
    dst_ds.GetRasterBand(1).WriteArray(a, 0, offset * i)

dst_ds = None

这产生了50539×10000像素的tiff文件。如果你确实需要98357行，我想你可以将offset值设置为1而rows设置为98357.理论上它应该可以工作，因为它适用于较小的数组（10 x 20像素）。

编辑：不要忘记将range(10)更改为range(98357)或xrange(98357)

使用GDAL将数据写入GeoTiff而不创建数据数组？

1 个答案: