搜索是否比get_loc更快,以在DataFrame索引中查找标签位置?

时间:2016-08-20 15:01:47

标签: python pandas

我需要在Pandas索引中找到标签的整数位置。我知道我可以使用get_loc方法,但后来我发现了searchsorted。只是想知道我是否应该使用后者来提高速度,因为我需要搜索数以千计的标签。

1 个答案:

答案 0 :(得分:5)

这取决于你的用例。使用@ ayhan的例子。

使用get_loc,在第一次查找时创建哈希表会有很大的前期成本。

In [22]: idx = pd.Index(['R{0:07d}'.format(i) for i in range(10**7)])
In [23]: to_search = np.random.choice(idx, 10**5, replace=False)
In [24]: %time idx.get_loc(to_search[0])
Wall time: 1.57 s

但是,后续查找可能会更快。 (不保证,取决于数据)

In [9]: %%time
   ...: for i in to_search:
   ...:     idx.get_loc(i)
Wall time: 200 ms

In [10]: %%time
    ...: for i in to_search:
    ...:     np.searchsorted(idx, i)
Wall time: 486 ms

另外,正如Jeff所说,get_loc保证始终有效,searchsorted需要单调性(并且不会检查)。