谷歌云机器学习中的图像数组

Question

我将numpy数组导入谷歌云机器学习引擎时出现问题。

我是这样做的：

X_test=StringIO(file_io.read_file_to_string(path+'X_test.npy'))
X_test=np.load(X_test)
print("loaded")

我试图加载0.5GB的npy文件导致此错误：

  

＆＃34;副本主机0运行内存不足并以非零状态247退出。＆＃34;

这是我的配置：

trainingInput:
  scaleTier: CUSTOM
  masterType: large_model
  workerType: complex_model_m
  runtimeVersion: "1.6"

也许我在加载这个数组时做错了什么？我应该添加一些额外的内存来处理大数组吗？

Answer 1

如果在经过一段时间后这是一个内存不足的问题，我们可以考虑机器的内存泄漏问题，并且可以尝试修复。

但是，如果仅在加载数组时生成，则避免崩溃的唯一方法是增加内存。