Hbase MuleSoft Cloudhub连接

时间:2015-07-07 17:44:25

标签: hadoop mule hbase cloudhub

我必须将Cloudhub连接到Hbase。我从社区版HBase连接器trid但没有成功。然后我尝试使用Java Code并再次失败。从HBase团队开始,他们只提供了Master IP(10.99.X.X)和Port(2181)以及userName(hadoop)。

我尝试过以下选项:

通过Java代码:

public Object transformMessage(MuleMessage message,String outputEncoding)抛出TransformerException {         试试{

        Configuration conf = HBaseConfiguration.create();
        //conf.set("hbase.rotdir", "/hbase");
        conf.set("hbase.zookeeper.quorum", "10.99.X.X");
        conf.set("hbase.zookeeper.property.clientPort", "2181");
        conf.set("hbase.client.retries.number", "3");
        logger.info("############# Config Created ##########");
        // Create a get api for consignment table
        logger.info("############# Starting Consignment Test  ##########");
        // read from table
        // Creating a HTable instance
        HTable table = new HTable(conf, "consignment");
        logger.info("############# HTable instance Created ##########");
        // Create a Get object
        Get get = new Get(Bytes.toBytes("6910358750"));
        logger.info("############# RowKey Created ##########");
        // Set column family to be queried
        get.addFamily(Bytes.toBytes("consignment_detail"));
        logger.info("############# CF Created ##########");
        // Perform get and capture result in a iterable
        Result result = table.get(get);
        logger.info("############# Result Created ##########");
        // Print consignment data
        logger.info(result);

        logger.info(" #### Ending Consignment Test ###");

        // Begining Consignment Item Scanner api
        logger.info("############# Starting Consignmentitem test ##########");

        HTable table1 = new HTable(conf, "consignmentitem");
        logger.info("############# HTable instance Created ##########");
        // Create a scan object with start rowkey and end rowkey (partial
        // row key scan)
        // actual rowkey design: <consignment_id>-<trn>-<orderline>
        Scan scan = new Scan(Bytes.toBytes("6910358750"),Bytes.toBytes("6910358751"));
        logger.info("############# Partial RowKeys Created ##########");
        // Perform a scan using start and stop rowkeys
        ResultScanner scanner = table1.getScanner(scan);
        // Iterate over result and print them
        for (Result result1 = scanner.next(); result1 != null; result1 = scanner.next()) {
            logger.info("Printing Records\n");
            logger.info(result1);
        }
        return scanner;
    }  catch (MasterNotRunningException e) {
        logger.error("HBase connection failed! --> MasterNotRunningException");
        logger.error(e);
    } catch (ZooKeeperConnectionException e) {
        logger.error("Zookeeper connection failed! -->ZooKeeperConnectionException");
        logger.error(e);
    } catch (Exception e) {
        logger.error("Main Exception Found! -- Exception");
        logger.error(e);
    }
    return "Not Connected";

}

以上代码给出以下错误

java.net.UnknownHostException:未知主机:ip-10-99-X-X.ap-southeast-2.compute.internal

似乎CloudHub无法找到主机名,因为cloudHub未配置DNS

当我尝试使用Community Edition HBase Connector时,它会给出以下异常:

org.apache.hadoop.hbase.MasterNotRunningException:重试3次

请建议某种方式...... Rgeards Nilesh制作 电子邮件:bit.nilesh.kumar@gmail.com

2 个答案:

答案 0 :(得分:0)

我相信您的问题的答案已在cloudhub网络指南中介绍。

https://developer.mulesoft.com/docs/display/current/CloudHub+Networking+Guide

答案 1 :(得分:0)

您似乎正在配置客户端以尝试连接到private IP address(10.99.X.X)的zookeeper仲裁。我假设您已经设置了VPC,这是您的CloudHub工作人员连接到您的专用网络所必需的。

您的UnknownHostException意味着您要连接的HBase服务器托管在AWS上,该服务器定义了类似于错误消息中的私有域名。

所以可能会发生这样的事情:

  1. Mule连接到Zookeeper,询问有哪些HBase节点,然后返回ip-10-99-X-X.ap-southeast-2.compute.internal
  2. Mule尝试连接到那个以查找HTable“寄售”,但无法解析该名称的IP地址。
  3. 不幸的是,如果这是正在发生的事情,将需要一些网络更改来修复它。 VPC discovery form中的常见问题解答说明了私有DNS:

      

    目前,我们无法将DNS查询转发到内部DNS服务器。您需要使用IP地址或公共DNS条目。请注意使用内部DNS条目连接到可能重定向到虚拟IP端点的系统。

    您可以使用公共DNS和可能的弹性IP来解决此问题,但这需要您将HBase群集公开到互联网。