Question

我正在研究一些访问HBase的代码，我正在编写单元测试，在测试设置中创建一个MiniDFSCluster。

(defn test-config [& options]
    (let [testing-utility (HBaseTestingUtility.)]
        (.startMiniCluster testing-utility 1)
        (let [config (.getConfiguration testing-utility)]
            (if (not= options nil)
                (doseq [[key value] options]
                    (.set config key value)))
            config)))

;; For those who don't read Clojure, lines 2 and 3 cause 
;; the failure and are equivalent to the following Java
;; 
;; HBaseTestingUtility testingUtility = new HBaseTestingUtility();
;; testingUtility.startMiniCluster(1);  // blows up on Linux but not Mac OSX

使用Java HotSpot在Mac OSX上运行正常：

$ java -version
java version "1.6.0_51"
Java(TM) SE Runtime Environment (build 1.6.0_51-b11-457-11M4509)
Java HotSpot(TM) 64-Bit Server VM (build 20.51-b01-457, mixed mode)

$ lein test

lein test hbase.config-test

lein test hbase.table-test
2013-07-12 17:44:13.488 java[27384:1203] Unable to load realm info from SCDynamicStore
Starting DataNode 0 with dfs.data.dir: /Users/dwilliams/Desktop/Repos/mobiusinversion/hbase/target/test-data/fe0199fd-0168-48d9-98ce-b4a5e62d3257/dfscluster_bbad1095-58d1-4571-ba12-4d4f1c24203f/dfs/data/data1,/Users/dwilliams/Desktop/Repos/mobiusinversion/hbase/target/test-data/fe0199fd-0168-48d9-98ce-b4a5e62d3257/dfscluster_bbad1095-58d1-4571-ba12-4d4f1c24203f/dfs/data/data2
Cluster is active

Ran 11 tests containing 14 assertions.
0 failures, 0 errors.

但是当它在Linux环境中运行时，会发生以下错误：

ERROR in (create-table) (MiniDFSCluster.java:426)
Uncaught exception, not in assertion.
expected: nil
  actual: java.lang.NullPointerException: null
 at org.apache.hadoop.hdfs.MiniDFSCluster.startDataNodes (MiniDFSCluster.java:426)
    org.apache.hadoop.hdfs.MiniDFSCluster.<init> (MiniDFSCluster.java:284)
    org.apache.hadoop.hbase.HBaseTestingUtility.startMiniDFSCluster (HBaseTestingUtility.java:444)
    org.apache.hadoop.hbase.HBaseTestingUtility.startMiniCluster (HBaseTestingUtility.java:612)
    org.apache.hadoop.hbase.HBaseTestingUtility.startMiniCluster (HBaseTestingUtility.java:568)
    org.apache.hadoop.hbase.HBaseTestingUtility.startMiniCluster (HBaseTestingUtility.java:555)

我提交了一张travis-ci门票，因为这首先出现在那里，我认为这可能是由于他们的环境。

https://github.com/travis-ci/travis-ci/issues/1240

然而，在与travis支持讨论后，我能够重现CentOS上的错误。我在Linux上尝试了Sun JDK和OpenJDK，两者都产生了同样的错误。这里发生了什么？这是一个简单的配置问题吗？也许在Mac OSX的ENV中设置的Linux ENV中没有设置？

如果您想运行测试，请克隆回购

https://github.com/mobiusinversion/hbase

运行lein测试。非常感谢帮助！

更新：

提交此HBASE Jira票证

https://issues.apache.org/jira/browse/HBASE-8944

Answer 1

简答：在运行测试之前设置“umask 022”。

答案很长：这是一个常见的环境问题，从Hadoop 1.x版本运行MiniDFSCluster，HBaseTestingUtility在内部使用这些版本。它已在Hadoop 0.22+中有效修复（包括2.0+，但目前不是1.x）。

潜在问题是https://issues.apache.org/jira/browse/HDFS-2556。

当MiniDFSCluster启动时，它会创建用于datanode进程的临时存储目录（配置为“dfs.data.dir”）。这些将使用您当前设置的umask创建。当每个datanode启动时，它会检查“dfs.data.dir”中配置的目录是否都存在，以及目录权限是否与预期值匹配（设置为“dfs.datanode.data.dir.perm”）。如果目录权限与期望值不匹配（默认为“755”），则退出datanode进程。

默认情况下，在Hadoop 1.x中，此值设置为“755”，因此如果将umask设置为“022”，数据目录将以正确的权限结束。但是，如果权限与预期值不匹配，则datanode将中止，您将在测试日志文件中看到如下所示的错误：

WARN  [main] datanode.DataNode(1577): Invalid directory in dfs.data.dir: Incorrect permission for /.../dfs/data/data2, expected: rwxr-xr-x, while actual: rwxrwxr-x

在Hadoop的更高版本中，如果目标权限不匹配，则datanode将尝试将目录权限更改为期望值。只有当此操作失败时，datanode才会中止。 HDFS-2556建议将此更改反向移植到1.x版本，但尚未修复。

HBase：MiniDFSCluster.java在某些环境中失败

1 个答案: