将数据集从文本文件格式转换为“presto-orc”格式，以获得更好的prestoDB性能

Question

我查看了此博客https://code.facebook.com/posts/370832626374903/even-faster-data-at-the-speed-of-presto-orc/。

如何使用这种“presto-orc”文件格式？

我在S3中以文本格式获取数据。我想用“presto-orc”格式重写。

我通常使用hive将数据写入ORC / RCFile / Parquet。

Answer 1

没有特殊的＆＃34; presto-orc＆＃34;格式。 Presto拥有针对标准ORC格式（以及Facebook DWRF变体）的优化阅读器。

您可以使用任何支持它的程序在ORC数据中编写文件：Hive，Presto，Spark等。