Question

我有两个坐标为archivo1和archivo2的数据帧，我需要第一个数据帧的最近点（id）。到目前为止，我的代码是：

import pandas as pd
import numpy as np

def getDistance(archivo1,lat,log):
  R = 6371 
  archivo1['dLat'] =(lat-archivo1['lat']).apply(deg2rad)/2
  archivo1['dLon'] =(log-archivo1['log']).apply(deg2rad)/2
  archivo1['a']=(archivo1['dLat'].apply(math.sin))*(archivo1['dLat'].apply(math.sin))+(archivo1['lat'].apply(deg2rad).apply(math.cos))*(math.cos(deg2rad(lat)))*(archivo1['dLon'].apply(math.sin))*(archivo1['dLon'].apply(math.sin))
  archivo1['b']=  archivo1['a'].apply(math.sqrt)/(1-archivo1['a'].apply(math.sqrt))
  archivo1['Distancia']=R*2*archivo1['b'].apply(math.atan)

def deg2rad(deg):
    return deg * (math.pi/180)

for i in range(len(archivo1)):
    getDistance(archivo1,archivo2['lat'].iloc[i],archivo2['long'].iloc[i])
    archivo1['id'].iloc[i]=str(archivo2[archivo2['Distancia']==archivo2['Distancia'].min()]['id'].iloc[0])

代码运行并给我预期的结果，然而第一个文件有7百万，第一个文件70k所以需要7天运行。有人可以帮我优化吗？

这是两个文件的示例：

这是要查找的文件2：

File 2:
id longitude latitude                  
L10F10P1    -72.61521393    8.290479554
L10F10P10   -72.61517542    8.290583772
L10F10P100  -72.61481425    8.290812192
L10F10P101  -72.61484522    8.290877898
L10F10P102  -72.61488579    8.290968212
L10F10P103  -72.61492075    8.291033898
L10F10P104  -72.61495586    8.291095669
L10F10P105  -72.61499304    8.291166076
L10F10P106  -72.61503357    8.291235121
L10F10P107  -72.61508271    8.291330912
L10F10P108  -72.61516194    8.291456605
L10F10P109  -72.61519939    8.291548893
L10F10P11   -72.61522969    8.290676982
L10F10P110  -72.61522794    8.291592503
[76701 rows x 9 columns]
File 1:
latitude longitude 
8.318648471 -72.6132329
8.318648678 -72.6134567
8.318648971 -72.6133456
8.318678421 -72.6138765
8.319765345 -72.6137658
[6877229 rows x 10 columns]

Answer 1

如果没有示例，我将不会编写确切的代码，而是逐行提出改进建议。一般的想法是apply通常很慢，因为它本质上是幕后的循环。

这当然很慢：

archivo1['dLat'] = (lat-archivo1['lat']).apply(deg2rad)/2

这会更好：

archivo1['dLat'] = (lat-archivo1['lat']) * math.pi/180/2

使用numpy函数而不是应用math函数也应该更快：

np.sin(archivo1['dLat'].values)

而不是

archivo1['dLat'].apply(math.sin)

values属性使您可以访问基础numpy数组。同样，请使用np.sqrt。

然后在上面计算的np.multiply数组上重复使用numpy，将它们按元素相乘。您可以将最终数组分配回数据框的列Distancia。

可以通过定义包含循环内两行的函数，并使用for将其应用于数据框中的每一行来改进apply循环。

最后，使用argmin或idxmin的速度应该快于：

archivo2[archivo2['Distancia']==archivo2['Distancia'].min()]

通过将上述所有内容放在一起，您应该已经看到了相当大的改进！

如何使用坐标

1 个答案: