使用hbase在通过nutch1.8解析页面时保存数据

时间:2015-03-26 08:43:49

标签: hbase nutch

我使用nutch 1.8抓取页面,并希望在解析时将parseText保存到hbase中。所以我写了一个过滤器,但在保存parseText时,我收到了这个错误:

  

线程在尝试连接到主服务器时被中断。

static {
        conf = HBaseConfiguration.create();
    }

public static void creatTable(String tableName, String[] familys) throws Exception {

        HBaseAdmin admin = new HBaseAdmin(conf);
        if (admin.tableExists(tableName)) {
            System.out.println("table already exists!");
        } else {
            HTableDescriptor tableDesc = new HTableDescriptor(tableName);
            for (int i = 0; i < familys.length; i++) {
                tableDesc.addFamily(new HColumnDescriptor(familys[i]));
            }
            admin.createTable(tableDesc);
            System.out.println("create table " + tableName + " ok.");
        }
    }

此代码在unitTest上运行良好,但与nutch集成时会发生错误。有人可以帮忙吗?

0 个答案:

没有答案