如何检查熊猫进程的进度？

Question

我必须在熊猫中做一些可能需要几个小时的操作，我使用for循环，每次迭代需要花费一秒多的时间，我必须做大约10k，所以我想知道多少这项工作已经完成。

我可以打印＆＃39;我＆＃39;每10次迭代左右，但我想知道是否已经有一些工具可以在python中实现以了解这类事情。

for i range(10000):
    do something
    print i

此外，我不确定打印是否会影响性能

Answer 1

您可以使用pandas中的apply和applymap。

假设您有一个包含三列的pandas数据框，您希望列的对数为＆＃39; 1＆＃39;并将其重写为新列。

import numpy as np
import pandas as pd

# set seed
np.random.seed(42)

df = pd.DataFrame(np.random.random(12).reshape(-1,3))
print('Original')
print(df)

df['log'] = df[1].apply(np.log)
print('Modified')
print df