亚马逊Sagemaker中的内存错误

Question

在对s3中存储的2 gb数据进行预处理时，在Amazon Sagemaker中发生内存错误。加载数据没有问题。数据量为700万行和64列。一种热编码也是不可能的。这样做会导致内存错误。 笔记本实例为ml.t2.medium。如何解决这个问题？

Answer 1

我假设您正在处理笔记本实例上的数据，对吗？ t2.medium只有4GB的RAM，因此很可能您的内存不足。

您尝试过更大的实例吗？规格在这里：https://aws.amazon.com/sagemaker/pricing/instance-types/

Answer 2

您可以在https://forums.aws.amazon.com/forum.jspa?forumID=285下剪切一个AWS论坛帖子吗？你的问题。这样，SageMaker团队将能够为您提供帮助。