Question

如果我有一个像这样的199.72.81.55 - - [01/Jul/1995:00:00:01 -0400] "GET /history/apollo/ HTTP/1.0" 200 6245行的数据集，并且我正在使用hadoop运行map reduce作业，那么如何获得每行中的最后一个元素？

我已尝试过所有明显的答案，例如String lastWord = test.substring(test.lastIndexOf(" ")+1);，但这会给我-字符。我试过基于空格分割它，并获得最后一个元素，但最后一个字符仍然是-。

我不能指望数据会逐行传递给我。换句话说，我不能指望a b c d \n e f g h\n形式的文件逐行传递吗？

有没有人有关于如何获得这一行的最后一个字的任何提示？

这是我的地图功能的片段，我尝试获取数据：

public void map(LongWritable key, Text value, Context context)
        throws IOException, InterruptedException {
    String test = value.toString();

    StringTokenizer tokenizer = new StringTokenizer(test);

    //String lastWord = test.substring(test.lastIndexOf(" ")+1); <--first try

    //String [] array = test.split(" ");//<--second try     
    //one.set(Integer.valueOf(array[8])); 

    int i = 0;
    String candidate = null;
    while (tokenizer.hasMoreTokens()) {
        candidate = tokenizer.nextToken();
        if (i == 3) {
            //this works to get the date field
            String wholeDate = candidate;
            String[] dateArray = wholeDate.split(":");
            String date = dateArray[0].substring(1); // get rid of '['
            String hour = dateArray[1];
            word.set(date + " " + hour);

        } else if (i == 7) { 
                         // <-- third try
             String replySizeString = candidate;
             one.set(Integer.valueOf(replySizeString)); }
        }
        i++;

Answer 1

您可以使用String [] String.split（String regex）方法为每行返回一个字符串数组，而不是使用StringTokenizer。然后，假设您的数据的每一行都有相同数量的字段，用空格分隔，您只需查看该数组元素即可。

String line = value.toString();
String[] lineArray = line.split(" ");
String lastWord = lineArray[9];

或者如果你知道你总是想要最后一个标记，你可以看到数组有多长，然后抓住最后一个元素。

String lastWord = lineArray[lineArray.length - 1];

将一行的最后一个字传递给hadoop中的映射器

1 个答案: