从Zipped文件到Cassandra的数据

时间:2017-10-02 23:17:02

标签: python cassandra zipfile

我有大量的压缩文件(按时间戳命名),这些文件在解压缩时基本上是分隔的文本文件。我必须将所有这些数据都输入Cassandra(一次转储)。

由于zip文件的数量很大,有没有办法可以直接将提取的文件重定向到Cassandra,而不是在加载到Cassandra之前再将它存储在本地?(我正在使用python)

1 个答案:

答案 0 :(得分:1)

如果您的文件是逗号分隔的并且与表架构匹配(或者可以使用各种命令行工具进行匹配),您可以考虑将解压缩输出管道传送到cqlsh --execute 'COPY ks.table FROM STDIN'