如何使用Athena创建未压缩的文本文件

时间:2019-03-13 20:00:18

标签: hive compression file-format amazon-athena presto

我在Athena中有一些数据,我想加入并创建一个新表。我可以使用CTAS操作和AWS provide a few examples来做到这一点。

我正在以TEXTFILE格式创建输出,并且我不需要任何压缩。在此链接

  

此示例还将压缩指定为SNAPPY。如果省略,则使用GZIP。

这是我的代码示例:

CREATE TABLE "main_extended"
WITH (
    external_location = 's3://attr-dev/data-joiner/test-1/main_extended/',
    format = 'TEXTFILE',
    field_delimiter = ',')
AS
SELECT
    t1.*,
    t2.month
FROM main t1 left outer join period_month t2
ON t1.period = t2.period

如何指定compression选项,该选项应采用什么值来“关闭” TEXTFILE格式的压缩?

1 个答案:

答案 0 :(得分:0)

到目前为止,CTAS语法尚不支持此功能-尝试了多种方法,彻底检查了文档,还向AWS支持咨询。

创建由简单文本文件支持的表的推荐方法是从Athena调用简单的SELECT语句并指定输出位置,然后调用引用该输出的CREATE EXTERNAL TABLE类型查询位置。结果相同,但机制略有不同。