Vertica HDFS作为外部表

Question

使用Vertica和Parquet的最佳实践是什么

我的应用程序体系结构是： Kafka主题（Avro数据）。 Vertica DB。 Vertica的调度程序使用了来自Kafka的数据，并将其提取到Vertica中的托管表中。

假设我只有Vertica的存储空间可以存储一个月的数据。 据我了解，我可以使用镶木地板在HDFS上创建一个外部表，Vertica API也使我能够查询这些表。 这种情况下的最佳做法是什么？我可以添加一些Vertica调度程序来处理从托管表到外部表（作为镶木地板）的日期。 如何在Vertica中配置滚动数据（每天30天前删除） 谢谢。

Answer 1

您可以将外部表与Parquet数据一起使用，无论该数据是来自Vertica还是来自其他来源。专门针对Parquet和ORC格式，有一些extra features，例如谓词下推和利用分区列。

您可以export data in Vertica to Parquet format。您可以导出查询结果，因此只能选择30天的数据。而且尽管该部分在Vertica文档的Hadoop部分中，您实际上仍可以在任何地方编写Parquet文件。您根本不需要运行HDFS。它必须位于数据库中所有节点都可以到达的位置，因为外部表在查询时会读取数据。

我不知道在Vertica中执行计划的导出的方法，但是您可以编写脚本并每晚运行。您可以使用vsql -f filename.sql从命令行运行.sql脚本。