在运行具有大数据的机器学习算法时使用Blob是好还是必要

Question

我知道我可以将我的数据文件上传到azure ml（作为新的数据集），或者我可以使用Blob（并在ML实验中读取数据）。我想知道在培训机器学习模型和创建与预测相关的ML解决方案时是否特别推荐其中一个。

我使用Azure的目标是根据各种功能对用户进行群集。我有一个大型数据集（~50GB）。我想知道你是否有任何建议。

我感谢任何帮助！

Answer 1

如Azure Machine Learning Frequently Asked Questions所述：＆＃34;对于大于几GB的数据集，您应该将数据上传到Azure存储或Azure SQL数据库或使用HDInsight，而不是直接从本地文件上传。＆＃34 ;

另请注意Machine Learning Studio中模块的最大数据集大小。这些限制列为上面链接的相同常见问题解答的一部分。