我有一个大型DataFrame列表,例如
N=100000
data = [pd.DataFrame(np.random.rand(2*N).reshape(N,2), columns = ['foo','bar']) for _ in range(100)]
并希望计算其隔离区,例如:
>>> pd.concat(data).quantile([.1,.3,.6,.9])
foo bar
0.1 0.100087 0.100087
0.3 0.300140 0.299953
0.6 0.600156 0.600022
0.9 0.900219 0.899880
我的问题是连接需要一些时间,然后在大的结果DataFrame上计算分位数。我想知道是否有办法在不必编写连接的情况下执行此操作。