是否有更好的方法使用条件语句索引大数组而不是np.where?

时间:2015-07-23 17:33:42

标签: python numpy geospatial

对不起文字墙。我试图缩短它,但我认为一切都会对愿意阅读它的人有所帮助。

我有xyz点云,我试图将它们划分为DEM(数字高程模型,如果你不熟悉 - 只是2D高程阵列)。我的DEM需要具有明显更低的分辨率(相反,它们不需要几乎与分辨率一样高的分辨率),因此在每个DEM单元的点云中大约有10个点。我的代码迭代最终DEM的行和列,并根据提供的XYZ坐标计算每个单元格的高程值。为此,我指定网格大小和间距,然后代码计算每个网格单元格的x和y最大值和最小值。然后,它找到z所有z值,其中x和y在该单元格的最大值和最小值内,拒绝异常值并获取剩余值的平均值以确定该单元格的最终值。 xyz值存储在如下所示的数组中:

xyz = np.array([[x1, y1, z1],
                [x2, y2, z2],
                [x3, y3, z3]])       #     with tens of thousands of xyz cominations

我当前的方法涉及在X和Y中创建单元格边界值列表,然后将边界内具有x和y值的所有z值添加到高程列表中:

dx = 0.5           # cell size in meters

xmin = np.min(xyz[:,0])
xmax = np.max(xyz[:,0])
ymin = np.min(xyz[:,1])
ymax = np.max(xyz[:,1])
xoffset = ((xmax-xmin) % dx)/2.0
yoffset = ((ymax-ymin) % dx)/2.0


xlims = np.arange(xmin+xoffset, xmax, dx)   # list of grid cell limits in x
ylims = np.arange(ymin+yoffset, ymax, dx)   # list of grid cell limits in y

DEM = np.empty((len(ylims)-1, len(xlims)-1), 'float')  # declares output array

for i in range(DEM.shape[0]):           # iterate over rows of final DEM
    for j in range(DEM.shape[1]):       # iterate over columns of final DEM
        bottom = ylims[i]               
        top = ylims[i+1]                
        left = xlims[j]                 # these rows just pick minimum and
        right = xlims[j+1]              # maximum of cell [i,j]

        elevations = xyz[np.where(((xyz[:,0] > left) &
                            (xyz[:,0] < right)) & 
                            ((xyz[:,1] > bottom) & 
                            (xyz[:,1] < top)))[0]][:,2]
        elevations = reject_outliers(elevations)

        if len(elevations) == 0:
            elevation = np.nan
        else:
            elevation = np.mean(elevations)

        DEM[i,j] = elevation

这样可行,但我必须做数百个DEM,每个都有数十万个点,所以我看着等待我的电脑一周的时间通过这个如果我这样做。它对我来说似乎也很笨拙。有没有办法简化这个?

2 个答案:

答案 0 :(得分:1)

你可以尝试

elev =  xyz[  xyz[:,0] > left  ]
elev = elev[ elev[:,0] < right ]
elev = elev[ elev[:,1] > bottom]
elev = elev[ elev[:,1] < top   ]

这样,每个条件语句都会减小elev的大小,因此每个下一个条件语句都需要考虑较少的对象。我仍然怀疑有更好的方法。您还可以尝试从xyz搜索距离xlims到x,y的最近的x,y ylimsdx,然后使用dy,{返回相邻的坐标,{ {1}}。如果你能找到一种快速的搜索方式,那么这可能是你最好的选择(但在接近边界时你需要小心)

除了

如果xyz中的x,y形成常规精细网格,则可以尝试scipy.interpolate.RectBivariateSpline

否则您可以使用scipy.interpolate.interp2d

from scipy.interpolate import interp2d

interped = interp2d( x=xyz[:,0], y=xyz[:,1], z=xyz[:,2], kind='linear', fill_value=xyz[:,2].mean() )
DEM     = interped( xlims, ylims)

(它会比RectBivariateSpline慢得多,但可能比你正在做的更快)

您可以将'kind'参数更改为'cubic',但速度会变慢。

答案 1 :(得分:1)

一种可能性是找到点适合的段,然后循环遍历这些组,这样您就不必一直屏蔽相同的元素,即使它们只属于一个段。

执行此操作的一种方法是使用numpy内置的searchsorted:

xmin = np.min(xyz[:,0])
xmax = np.max(xyz[:,0])
ymin = np.min(xyz[:,1])
ymax = np.max(xyz[:,1])
xoffset = ((xmax-xmin) % dx)/2.0
yoffset = ((ymax-ymin) % dx)/2.0

xlims = np.arange(xmin+xoffset, xmax, dx)   # list of grid cell limits in x
ylims = np.arange(ymin+yoffset, ymax, dx)   # list of grid cell limits in y

DEM = np.empty((len(ylims) - 1, len(xlims) - 1), dtype=float)  # declares output array

# Find the bins that each point fit into
x_bins = np.searchsorted(xlims, xyz[:, 0]) - 1
y_bins = np.searchsorted(ylims, xyz[:, 1]) - 1

for i in range(DEM.shape[0]):           # iterate over rows of final DEM
    y_mask = y_bins == i
    for j in range(DEM.shape[1]):
        elevations = xyz[y_mask & (x_bins == j), 2]
        elevations = reject_outliers(elevations)
        if len(elevations) == 0:
            elevations = np.nan
        else:
            elevations = np.mean(elevations)

        DEM[i, j] = elevations

当我使用带有xyz = randn(100000,3)和dx = 0.1的timeit分析已经列出的替代品(在将reject_outliers定义为lambda x:x之后),我得到了以下时间:

  1. (你的)where方法: 10个循环,最好是3:每循环6.69秒
  2. (dermon's)逐步方法: 10个循环,最佳3:16.7秒/循环
  3. 搜索排序方法: 10个循环,最佳3:每循环2.11秒
  4. 但是,如果您愿意使用Pandas,您可以修改代码,以便将for for for循环替换为Pandas非常棒的groupby功能:

    elevation_df = pd.DataFrame({'x_bins': x_bins, 'y_bins': y_bins, 'z': xyz[:, 2]})
    for x_y_bins, data in elevation_df.groupby(['x_bins', 'y_bins']):
        elevations = reject_outliers(data['z'])
        elevations = data['z']
        if len(elevations) == 0:
            elevations = np.nan
        else:
            elevations = np.mean(elevations)
        if 0 <= x_y_bins[1] < DEM.shape[0] and 0 <= x_y_bins[0] < DEM.shape[1]: 
            DEM[x_y_bins[1], x_y_bins[0]] = elevations
    

    这使得时间几乎减少了2倍( 10个循环,最佳3:每循环1.11秒)。

    我还应该注意,由于您的np.arange命令,您似乎已经排除了范围内的某些点。在上面我假设您打算排除这些点,但如果您想要包含您可以使用的所有数据:

    xlims = np.arange(xmin-xoffset, xmax+dx, dx)
    ylims = np.arange(ymin-yoffset, ymax+dx, dx)
    

    如果您使用这些范围,则可以将之前的for循环修改为:

    for i in np.unique(y_bins):
        y_mask = y_bins == i
        for j in np.unique(x_bins[y_mask]):
    

    它将我之前的searchsorted示例的timeit结果降低到 10个循环,最好是每循环3:1.56 s ,这至少更接近Pandas groupby。