我使用nutch 1.8抓取页面,并希望在解析时将parseText
保存到hbase中。所以我写了一个过滤器,但在保存parseText
时,我收到了这个错误:
线程在尝试连接到主服务器时被中断。
static {
conf = HBaseConfiguration.create();
}
public static void creatTable(String tableName, String[] familys) throws Exception {
HBaseAdmin admin = new HBaseAdmin(conf);
if (admin.tableExists(tableName)) {
System.out.println("table already exists!");
} else {
HTableDescriptor tableDesc = new HTableDescriptor(tableName);
for (int i = 0; i < familys.length; i++) {
tableDesc.addFamily(new HColumnDescriptor(familys[i]));
}
admin.createTable(tableDesc);
System.out.println("create table " + tableName + " ok.");
}
}
此代码在unitTest上运行良好,但与nutch集成时会发生错误。有人可以帮忙吗?