HDFS短路读取

时间:2013-12-10 00:27:06

标签: hadoop hdfs

根据documentation,短路读取速度更快,因为它们不通过数据节点。如果是这种情况那么

  1. 为什么默认情况下不启用?
  2. 在哪些情况下我们需要短路读数?

1 个答案:

答案 0 :(得分:2)

看一下这篇文章:http://blog.cloudera.com/blog/2013/08/how-improved-short-circuit-local-reads-bring-better-performance-and-security-to-hadoop/

文章摘要:

原始实施的一个主要缺点是它隐藏了安全隐患。它必须为客户端提供对数据文件的直接读取访问权限。我猜这对于支持kerberos的hdfs来说很糟糕。

新实现传递了一个文件描述符,据说更安全,更快。

我猜旧方法有一些缺点。我不明白新方法的缺点是什么。我无法找到新方法Hadoop版本的确定答案。