标签： parquet kdb pyarrow fastparquet
我正在尝试以压缩的apache parquet格式存储/保留kdb表。 我最初的计划基本上是使用embedPy将fastparquet或pyarrow.parquet转换为可从q内使用。 然后，我将使用kdb +滴答架构来处理传入的滴答，并每天将批处理的镶木地板写入磁盘。 这是个好主意吗？否则，将大量数据持久保存到磁盘的最佳方法是什么？谢谢