Question

我有两个熊猫数据帧，df_map具有我正在使用的数据，df_4pc是一个查找表。我想通过使用邮政编码在df_map中包含纬度和经度。

那是他们的样子：

>> df_4pc.head()
idx  postcode   woonplaats  latitude    longitude
0   1000    Amsterdam   52.336243   4.869444
1   1001    Amsterdam   52.364240   4.883358
2   1002    Amsterdam   52.364240   4.883358
3   1003    Amsterdam   52.364240   4.883358
4   1005    Amsterdam   52.364240   4.883358

>> df_map.head()
    location_postcode   latitude    longitude
visit_id            
12765996        1000    0.0          0.0
12764909        1005    0.0          0.0
11698683        1002    0.0          0.0
11665112        1003    0.0          0.0
12638508        1005    0.0          0.0

对于该任务，我尝试使用df.lookup，但得到了一个关键错误：

>> df_4pc.lookup(df_map["location_postcode"], ["postcode"]*len(df_map))

KeyError: 'One or more row labels was not found'

但是，我确保df_map中仅使用df_4pc中存在的邮政编码（其他值被丢弃）。我正在运行一个实现，但是数据集非常大，用我的循环实现运行整个过程需要几个小时：

for i in tqdm_notebook(df_map.index.tolist()):
    df_map.at[i, "latitude"] = df_4pc[df_4pc["postcode"] == df_map.at[i, "location_postcode"]]["latitude"]
    df_map.at[i, "longitude"] = df_4pc[df_4pc["postcode"] == df_map.at[i, "location_postcode"]]["longitude"]

这是我的预期输出：

>> df_map.head()
    location_postcode   latitude    longitude
visit_id            
12765996        1000    52.336243   4.869444
12764909        1005    52.364240   4.883358
11698683        1002    52.364240   4.883358
11665112        1003    52.364240   4.883358
12638508        1005    52.364240   4.883358

我不确定为什么会有这个关键错误。我查看了堆栈溢出的多个线程，尤其是与df.lookup相关的线程，但是找不到任何对我有用的东西。

最后一个问题是：如何获得此查询表的有效实现？

解决方案 pandas join可以在一秒钟内完成+ 1M行数据库的工作。

coords = df_4pc.set_index('postcode')
df_map = df_map.loc[:, ['location_postcode'].copy()].join(coords, on='location_postcode')

Answer 1

您尚未以MVCE的身份提供数据，因此我无法验证，但是DataFrame.join应该可以工作。

coords = df_4pc.set_index('postcode')
df_map = (df_map.loc[:, ['location_postcode'].copy()
          .join(coords, on='location_postcode'))

表查找循环的矢量化实现

1 个答案: