Question

我是hadoop的初学者。刚开始使用hive，在ubuntu 14.04上使用cdh5 impala。

我的数据格式就像

A¦aa¦bb¦cc
A¦bb¦cc¦ac¦dd¦ff¦fg
B¦aa¦ac
...

第一列可以是键，但其他部分没有固定长度或固定数量的列。各不相同。我不知道每行有多少列。所以我改成了

Col1¦col2
A¦aa
A¦bb
A¦cc
A¦bb
A¦cc
A¦ac
A¦dd
....

但是我需要很长时间才能拥有数百个文件，每个文件都有超过10M的行和30GB的大小。在我将第一种格式转换为第二种格式后，文件大小增加了两倍或三倍。所以我想跳过这个过程。

问题1。 如果我将原始文件导入hdfs，我可以使用这样的sqls＆＃34;从...中选择不同的col1，col2＆＃34;在蜂巢或黑斑羚？哪个会有结果

Col1¦col2
A¦aa
A¦bb
A¦cc
A¦ac
A¦dd
....

问题2。 如果Q1是可能的，那么sql呢？同样的事情？＆＃34;从......＆＃34;

中选择不同的col1，col2

Answer 1

问题1 是的，可以通过Hive或Impala读取您处理过的（在所有初始工作之后）文件。我在下面提供的解决方案是在Hive中。

登录Hive并创建外部表。

 CREATE EXTERNAL TABLE Test_table(column1 string, column2 string)
  ROW FORMAT DELIMITED 
  FIELDS TERMINATED BY '|'
  STORED AS TEXTFILE
  LOCATION '/location/of/your/file/on/hdfs';

根据问题中提供的输入，我假设您的分隔符为'|'以及要成为文本的格式。这将在您的数据上创建一个表格。

可以使用相同的代码在Impala中创建表。

问题2。

登录Hive并运行以下内容。

 select column1,column2 from test_table;

Answer 2

直接简单的Mapreduce程序最适合您的场景，以下是供您参考的代码：

以下程序将一次执行2个操作：

1）收集行数据并转换为键值对

2）消除重复项并仅存储不同的值到输出，因为键是初始标记+值标记的组合，因此重复项将被消除b reducer。示例（A | bb）将是您的键，null为值。

<强>代码：

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class MRTranspose extends Configured implements Tool {

    public static void main(String args[]) throws Exception {
        int res = ToolRunner.run(new MRTranspose(), args);
        System.exit(res);
    }

    public int run(String[] args) throws Exception {
        Path inputPath = new Path(args[0]);
        Path outputPath = new Path(args[1]);

        Configuration conf = getConf();
        Job job = new Job(conf, this.getClass().toString());

        FileInputFormat.setInputPaths(job, inputPath);
        FileOutputFormat.setOutputPath(job, outputPath);

        job.setJobName("transpose");
        job.setJarByClass(MRTranspose.class);
        job.setInputFormatClass(TextInputFormat.class);
        job.setOutputFormatClass(TextOutputFormat.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(NullWritable.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        job.setMapperClass(Map.class);
        job.setReducerClass(Reduce.class);

        return job.waitForCompletion(true) ? 0 : 1;
    }

    public static class Map extends
            Mapper<LongWritable, Text, Text, NullWritable> {

        @Override
        public void map(LongWritable key, Text value, Mapper.Context context)
                throws IOException, InterruptedException {
            String line = value.toString();
            String words[] = line.split("¦");
            for (int i = 1; i < words.length; i++) {
                context.write(new Text(words[0] + "¦" + words[i]),
                        NullWritable.get());
            }
        }
    }

    public static class Reduce extends
            Reducer<Text, NullWritable, Text, NullWritable> {

        @Override
        public void reduce(Text key, Iterable<NullWritable> values,
                Context context) throws IOException, InterruptedException {

            context.write(key, NullWritable.get());
        }
    }

}

提供原始数据文件夹作为第一个参数，第二个参数作为输出文件夹

输入文件： input.txt

 A¦aa¦bb¦cc
 A¦bb¦cc¦ac¦dd¦ff¦fg
 B¦aa¦ac

输出文件： part-r-00000文件

A¦aa
A¦ac
A¦bb
A¦cc
A¦dd
A¦ff
A¦fg
B¦aa
B¦ac

最后，将mapreduce输出路径绑定为hive表的输入路径以进一步查询

希望这很有用。

Hadoop，处理带有delimater但各种长度的文件

2 个答案: