Question

我已经将每月数据保存在给定的S3存储桶中，并且可以毫无问题地运行athena查询。但是，如果我使用符号文件，那么雅典娜只会读取一月和七月的数据。这很奇怪。

我的符号文件看起来像这样...

s3://some_bucket/sub_bucket/no_details_201801.csv.gz
s3://some_bucket/sub_bucket/no_details_201802.csv.gz
s3://some_bucket/sub_bucket/no_details_201803.csv.gz
s3://some_bucket/sub_bucket/no_details_201804.csv.gz
s3://some_bucket/sub_bucket/no_details_201805.csv.gz
s3://some_bucket/sub_bucket/no_details_201806.csv.gz
s3://some_bucket/sub_bucket/no_details_201807.csv.gz
s3://some_bucket/sub_bucket/no_details_201808.csv.gz
s3://some_bucket/sub_bucket/no_details_201808.csv.gz
s3://some_bucket/sub_bucket/no_details_201810.csv.gz
s3://some_bucket/sub_bucket/no_details_201811.csv.gz
s3://some_bucket/sub_bucket/no_details_201812.csv.gz

在这12个文件中，有2个月的数据文件丢失，athena没有抱怨。那很好。但是它没有读取其余的10个文件。那没问题。但似乎只能读取2个文件（随机选择），这是不可接受的。有人用雅典娜符号文件体验过吗？

Answer 1

我假设您正在使用SymlinkTextInputFormat。如果符号链接文件中缺少任何文件，则EMR上的Athena和Presto都将使查询失败。我无法重现该问题。

CREATE EXTERNAL TABLE `symlink_test`(
  `col1` string, 
  `col2` string)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.serde2.OpenCSVSerde' 
WITH SERDEPROPERTIES ( 
  'escapeChar'='\\', 
  'quoteChar'='`', 
  'separatorChar'=',') 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.SymlinkTextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  's3://my-bucket/datasets/symlink'

如果符号链接中的任何文件都不存在，则Athena和Presto会给出类似于以下内容的错误消息：

HIVE_UNKNOWN_ERROR: Input path does not exist:[...]

符号文件读取部分数据

1 个答案: