标签: ruby csv orm data-analysis
我正在寻找支持CSV作为数据存储的ORM,并且模仿(不太花哨,但欢迎一些糖)像Sequel,DataMapper或ActiveRecord这样的ORM。
我的目标是导入一些CSV数据集并查询它们,进行一些基本的聚合等。
它应该类似于Ruby中的http://pandas.pydata.org/。
答案 0 :(得分:1)
CSV文件会有糟糕的表现。 CSV文件和记录不适用于随机访问,因为文本文件不是。如果不影响其后的所有其他字段和记录,则无法更新CSV中的字段。由于文件因记录更改而更改大小,因此在重写整个文件时,您的代码将遭受重大减速。你真的确定这是你想要的方式吗?
相反,我会使用内存中的SQLite数据库,如果它适合,或者一个在磁盘上,将CSV读入其中,在那里进行所有更改,然后将CSV写回。你会注意到在Panda文档中他们暗示他们正在做类似的事情:
用于在内存数据结构和不同格式之间读取和写入数据的工具....
使用CSV类和Sequel gem进行此操作是一项微不足道的任务。