从Alluxio读取超时

Question

在Alluxio上执行Presto查询时遇到此错误。此超时是什么意思，我该如何解决？

  

com.facebook.presto.spi.PrestoException：打开Hive拆分alluxio：// xxxxx：19998 / s3 / data / m-00020（offset = 134217728，   长度= 67108864），使用org.apache.hadoop.mapred.TextInputFormat：   从[id：0x23615709，L：/ xxxxx：34740-读取39963328512超时-   R：xxxxx / xxxxx：29999]

Answer 1

当Alluxio工作者花费太长时间（可通过alluxio.user.network.netty.timeout配置）以将数据提供给客户端时，您将收到此错误。

一个简单的解决方法是增加超时。

但是，这通常是工人以某种方式超负荷的症状。检查设置时的常见事项：

1. Alluxio工作负载，如果您的计算机位于同一位置并且没有资源管理，则可能是一个问题
2. Alluxio worker在文件系统负载/带宽不足的情况下，这通常是对象存储等远程存储的瓶颈。

如果这些是瓶颈，则可以尝试减少并发性或增加集群中的节点数。