数据框大小的限制

时间:2019-03-30 13:42:56

标签: python pandas dataframe bigdata

我正在研究一个物理问题,该问题需要大熊猫数据框,可能不是最好的选择。

基本上,我需要对3个输入进行计算,以处理许多不同的输入值集。

我的输入数据框如下:

betas  = np.linspace(0,np.deg2rad(10),100)
thetas = np.linspace(0,np.deg2rad(10),100)
z = np.linspace(0,2,100)

df =  pd.DataFrame(list(product(betas, thetas, z)), columns=['Beta', 'Theta', 'z'])

对于每一行,我都需要运行计算,这将产生一个100x100的数组(x,y坐标)。

如果我天真也使用itertools.product(df, x,y),它将用尽内存。

我是否遍历输入df中的每一行?还是可以将每行的输出100x100(或10000)数组保存到df

有更好的方法吗?

可能的输出可能是:

df:

beta theta z RESULT
0.1   0.1  2  (0, ... , 9999)
...
{million rows like this}

非常感谢你, 让我知道是否可以提供更多细节

0 个答案:

没有答案