有效地加载和访问火炬张量

时间:2017-01-09 23:27:23

标签: memory torch

我有一个包含float32的大二进制文件(差不多2GB)。我按

加载它

t = torch.FloatTensor(torch.FloatStorage(filename))

执行程序时,我会继续访问这个大张量1到2个小时。我观察到前10到20分钟它很慢。

任何人都可以解释原因并提供一些建议吗?

由于

1 个答案:

答案 0 :(得分:0)

可能是因为

  

操作系统在后台缓存内存中的内容,而不必关心它......

Preferred Handling of Large Files