Hbase for File I / O.以及在远程客户端上连接HDFS的方法

时间:2011-07-22 00:04:33

标签: nosql hadoop hbase hdfs

请注意,在您阅读之前我不会说流利的英语。 我是NoSQL的新手,现在尝试使用HBase进行文件存储。 - 我将把HBase中的文件存储为二进制文件。 我不需要任何统计数据。只有我需要的是文件存储。 是推荐的!?!?

我担心I / O速度。

实际上,因为我找不到任何方法将HDFS连接到hadoop,我想尝试使用HBase进行文件存储。我无法在客户端计算机上设置Hadoop。我试图找到一些库 - 比如JDBC for RDBMS - 它帮助客户端连接HDFS来获取文件。但我找不到任何东西,只选择了HBase而不是连接库。

我能从别人那里得到任何帮助吗?

1 个答案:

答案 0 :(得分:1)

这实际上取决于您的文件大小。在Hbase中,通常不建议存储文件或LOB,默认的最大键值大小为10mb。我提出了这个限制并运行了> 100mb值的测试,但你确实冒了OOME你的regionservers,因为它必须把整个值保存在内存中 - 小心配置你的JVM内存。

当在hbase-users列表中询问此类问题时,如果文件很大,通常的建议是建议使用HDFS。

您应该可以使用Thrift连接到HDFS以绕过在客户端计算机上安装Hadoop客户端。