使用`scipy.interpolate.griddata`进行非常慢的插值

时间:2015-02-19 18:08:55

标签: python numpy matplotlib scipy

我在尝试将“几乎”定期网格化数据插入到地图坐标时遇到scipy.interpolate.griddata极其缓慢的性能,因此可以使用matplotlib.pyplot.imshow绘制地图和数据,因为matplotlib.pyplot.pcolormesh是花费太长时间并且在alpha等方面表现不佳。

最佳展示示例(输入文件可以下载here):

import matplotlib.pyplot as plt
import numpy as np
from scipy.interpolate import griddata

map_extent = (34.4, 36.2, 30.6, 33.4)
# data corners:
lon = np.array([[34.5,        34.83806236],
                [35.74547079, 36.1173923]])
lat = np.array([[30.8,        33.29936152],
                [30.67890411, 33.17826563]])

# load saved files
topo = np.load('topo.npy')
lons = np.load('lons.npy')
lats = np.load('lats.npy')
data = np.load('data.npy')

# get max res of data
dlon = abs(np.array(np.gradient(lons))).max()
dlat = abs(np.array(np.gradient(lats))).max()

# interpolate the data to the extent of the map
loni,lati = np.meshgrid(np.arange(map_extent[0], map_extent[1]+dlon, dlon),
                        np.arange(map_extent[2], map_extent[3]+dlat, dlat))
zi = griddata((lons.flatten(),lats.flatten()),
              data.flatten(), (loni,lati), method='linear')

绘图:

fig, (ax1,ax2) = plt.subplots(1,2)
ax1.axis(map_extent)
ax1.imshow(topo,extent=extent,cmap='Greys')

ax2.axis(map_extent)
ax2.imshow(topo,extent=extent,cmap='Greys')

ax1.imshow(zi, vmax=0.1, extent=extent, alpha=0.5, origin='lower')
ax1.plot(lon[0],lat[0], '--k', lw=3, zorder=10)
ax1.plot(lon[-1],lat[-1], '--k', lw=3, zorder=10)
ax1.plot(lon.T[0],lat.T[0], '--k', lw=3, zorder=10)
ax1.plot(lon.T[-1],lat.T[-1], '--k', lw=3, zorder=10)


ax2.pcolormesh(lons,lats,data, alpha=0.5)
ax2.plot(lon[0],lat[0], '--k', lw=3, zorder=10)
ax2.plot(lon[-1],lat[-1], '--k', lw=3, zorder=10)
ax2.plot(lon.T[0],lat.T[0], '--k', lw=3, zorder=10)
ax2.plot(lon.T[-1],lat.T[-1], '--k', lw=3, zorder=10)

结果:

enter image description here

注意,只需使用仿射变换旋转数据就无法做到这一点。

使用我的真实数据,griddata每次通话需要超过80秒,pcolormesh需要更长时间(超过2分钟!)。我已经看过Jaimi的回答here和Joe Kington的回答here但是我找不到让它适合我的方法。

我的所有数据集都具有完全相同的lonslats所以基本上我需要将这些数据集映射到地图的坐标并将相同的变换应用于数据本身。问题是我该怎么做?

2 个答案:

答案 0 :(得分:4)

经过长时间忍受scipy.interpolate.griddata令人难以忍受的缓慢表现后,我决定放弃griddata,转而使用OpenCV进行图片转换。具体而言,Perspective Transformation

因此,对于上面的例子中,你可以得到输入文件here的问题,这是一段代码需要1.1毫秒而不是692毫秒需要重新编译在上面的例子中。

import cv2
new_data = data.T[::-1]

# calculate the pixel coordinates of the
# computational domain corners in the data array
w,e,s,n = map_extent
dx = float(e-w)/new_data.shape[1]
dy = float(n-s)/new_data.shape[0]
x = (lon.ravel()-w)/dx
y = (n-lat.ravel())/dy

computational_domain_corners = np.float32(zip(x,y))

data_array_corners = np.float32([[0,new_data.shape[0]],
                                 [0,0],
                                 [new_data.shape[1],new_data.shape[0]],
                                 [new_data.shape[1],0]])

# Compute the transformation matrix which places
# the corners of the data array at the corners of
# the computational domain in data array pixel coordinates
tranformation_matrix = cv2.getPerspectiveTransform(data_array_corners,
                                                   computational_domain_corners)

# Make the transformation making the final array the same shape
# as the data array, cubic interpolate the data placing NaN's
# outside the new array geometry
mapped_data = cv2.warpPerspective(new_data,tranformation_matrix,
                                  (new_data.shape[1],new_data.shape[0]),
                                  flags=2,
                                  borderMode=0,
                                  borderValue=np.nan)

我看到这个解决方案的唯一缺点是数据中的轻微偏移,如附图中非重叠轮廓所示。在黑色和warpPerspective数据轮廓中重新划分数据轮廓(可能更准确)在' jet' colorscale。

目前,由于性能优势的差异,我生活得很好,我希望这个解决方案可以帮助其他人。

有人(不是我......)应该找到一种方法来提高griddata的性能:) 享受!

enter image description here

答案 1 :(得分:1)

我使用了numpy ndimage.map_coordinates。它运作得很好!

http://docs.scipy.org/doc/scipy-0.14.0/reference/generated/scipy.ndimage.interpolation.map_coordinates.html

从以上链接复制:

scipy.ndimage.interpolation.map_coordinates(input, coordinates, output=None, order=3, mode='constant', cval=0.0, prefilter=True)

通过插值将输入数组映射到新坐标。

坐标数组用于为输出中的每个点查找输入中的相应坐标。这些坐标处的输入值由请求顺序的样条插值确定。

通过删除第一个轴,从坐标数组的形状导出输出的形状。沿第一个轴的数组值是输入数组中找到输出值的坐标。

    from scipy import ndimage
    a = np.arange(12.).reshape((4, 3))
    a
    array([[  0.,   1.,   2.],
            [  3.,   4.,   5.],
            [  6.,   7.,   8.],
            [  9.,  10.,  11.]])
    ndimage.map_coordinates(a, [[0.5, 2], [0.5, 1]], order=1)
    [ 2.  7.]