我正在使用数据管道将数据从Mysql移动到S3,并且它会创建几天的空文件。我相信,它使我的athena查询失败
“HIVE_CURSOR_ERROR:意外的输入流结束”。
以下是我的剧本
CREATE EXTERNAL TABLE `test`(
`col0` bigint,
`col1` bigint,
`col2` string,
`col3` string
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS INPUTFORMAT
'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
's3://dummy/'
如果有任何选项可以跳过零字节S3文件,请告诉我吗?