在s3n上查询Orc文件是疯狂的慢

Question

只要我在hdfs上查询我的ORC文件，一切都很好而且速度非常快 - 但是当我想在S3上存储时查询数据时，这是疯狂的慢，查询无法完成。

我使用的是Hive 0.12 我的create语句看起来像这样

CREATE external TABLE externalORCFiles (... , ... , ...)
STORED AS ORC 
location 's3n://...'; 

在我看来，ORC + Presto + S3（see here）存在同样的问题，但我找不到与Hive类似的东西

Answer 1

在冷藏方面，S3是一个非常好的存储空间。但是并不真正适合HDFS空间。 S3数据以大约50Mbps的速度移动（可能或多或少，但比HDFS慢得多）。它是您在速度和速度之间选择的一种选择。成本。