将大型csv文件加载到rapidminer中的问题

Question

我正在尝试将一个大的csv文件（大约18G）加载到rapidminer中以构建分类模型。 “导入配置向导”似乎很难加载数据。因此，我选择使用“编辑参数列表：数据集元数据信息”来设置属性和标签信息。但是，UI界面只允许我逐列设置这些信息。我的csv文件有大约80000列。我该如何处理这种情况？感谢。

Answer 1

我自己还没有尝试过，但您应该可以将CSV加载到MySQL数据库中。然后，您可以使用流数据库运算符来避免大小限制。以下是RapidMiner的描述：

  

与将数据加载到主存储器中的读数据库运算符相比，流数据库运算符将数据保存在数据库中并批量执行数据读取。这允许RapidMiner访问任意大小的数据集，没有任何大小限制。