从流中收集对

时间:2018-02-28 10:52:52

标签: java java-stream streamex

我有一个像这样的对象流:

"0", "1", "2", "3", "4", "5",

如何将其转换为成对流:

{ new Pair("0", "1"), new Pair("2", "3"), new Pair("4", "5")}.

流大小未知。我正在从一个可能很大的文件中读取数据。我只有收集器的迭代器,我使用spliterator将此迭代器转换为流。 我知道这是使用StreamEx处理相邻对的答案: Collect successive pairs from a stream 这可以在java或StreamEx中完成吗? 感谢

5 个答案:

答案 0 :(得分:5)

这不是天生的契合,但你可以做到

List input = ...
List<Pair> pairs = IntStream.range(0, input.size() / 2)
                            .map(i -> i * 2)
                            .mapToObj(i -> new Pair(input.get(i), input.get(i + 1)))
                            .collect(Collectors.toList());

要在流中创建Pairs,您需要一个有状态的lambdas,通常应该避免但可以完成。注意:这仅在流是单线程时才有效。即不平行。

Stream<?> stream = 
assert !stream.isParallel();
Object[] last = { null };
List<Pair> pairs = stream.map(a -> {
        if (last[0] == null) {
            last[0] = a;
            return null;
        } else {
            Object t = last[0];
            last[0] = null;
            return new Pair(t, a);
        }
     }).filter(p -> p != null)
       .collect(Collectors.toList());
assert last[0] == null; // to check for an even number input.

答案 1 :(得分:2)

如果您不想收集元素

问题的标题是来自流的收集对,所以我假设你想要实际收集这些,但你评论说:

  

您的解决方案有效,问题是它将数据从文件加载到PairList,然后我可以使用此集合中的流来处理对。我不能这样做,因为数据可能太大而无法存储在内存中。

所以这是一种不收集元素的方法。

Iterator&lt; T&gt; 转换为 Iterator&lt; List&lt; T&gt;&gt;&gt; 是相对简单的,并从中将流转换为成对的流

  /**
   * Returns an iterator over pairs of elements returned by the iterator.
   * 
   * @param iterator the base iterator
   * @return the paired iterator
   */
  public static <T> Iterator<List<T>> paired(Iterator<T> iterator) {
    return new Iterator<List<T>>() {
      @Override
      public boolean hasNext() {
        return iterator.hasNext();
      }

      @Override
      public List<T> next() {
        T first = iterator.next();
        if (iterator.hasNext()) {
          return Arrays.asList(first, iterator.next());
        } else {
          return Arrays.asList(first);
        }
      }
    };
  }

  /**
   * Returns an stream of pairs of elements from a stream.
   * 
   * @param stream the base stream
   * @return the pair stream
   */
  public static <T> Stream<List<T>> paired(Stream<T> stream) {
    return StreamSupport.stream(Spliterators.spliteratorUnknownSize(paired(stream.iterator()), Spliterator.ORDERED),
        false);
  }

  @Test
  public void iteratorAndStreamsExample() {
    List<String> strings = Arrays.asList("a", "b", "c", "d", "e", "f");
    Iterator<List<String>> pairs = paired(strings.iterator());
    while (pairs.hasNext()) {
      System.out.println(pairs.next());
      // [a, b]
      // [c, d]
      // [e, f]
    }

    paired(Stream.of(1, 2, 3, 4, 5, 6, 7, 8)).forEach(System.out::println);
    // [1, 2]
    // [3, 4]
    // [5, 6]
    // [7, 8]
  }

如果您想收集元素......

我这样做是通过收集到一个列表,并使用 AbstractList 来提供元素的视图作为对。

首先, PairList 。这是一个简单的AbstractList包装器,它包含任何列表,它包含偶数个元素。 (一旦指定了所需的行为,这很容易适用于处理奇数长度列表。)

  /**
   * A view on a list of its elements as pairs.
   * 
   * @param <T> the element type
   */
  static class PairList<T> extends AbstractList<List<T>> {
    private final List<T> elements;

    /**
     * Creates a new pair list.
     * 
     * @param elements the elements
     * 
     * @throws NullPointerException if elements is null
     * @throws IllegalArgumentException if the length of elements is not even
     */
    public PairList(List<T> elements) {
      Objects.requireNonNull(elements, "elements must not be null");
      this.elements = new ArrayList<>(elements);
      if (this.elements.size() % 2 != 0) {
        throw new IllegalArgumentException("number of elements must have even size");
      }
    }

    @Override
    public List<T> get(int index) {
      return Arrays.asList(elements.get(index), elements.get(index + 1));
    }

    @Override
    public int size() {
      return elements.size() / 2;
    }
  }

然后我们可以定义我们需要的收集器。这基本上是collectingAndThen(toList(), PairList::new)

的简写
  /**
   * Returns a collector that collects to a pair list.
   * 
   * @return the collector
   */
  public static <E> Collector<E, ?, PairList<E>> toPairList() {
    return Collectors.collectingAndThen(Collectors.toList(), PairList::new);
  }

请注意,可能值得定义一个不会防御性地复制列表的PairList构造函数,因为我们知道后备列表是刚刚生成的用例(如本例所示)。但是,现在这并不是必不可少的。但是一旦我们这样做,这个方法就是collectingAndThen(toCollection(ArrayList::new), PairList::newNonDefensivelyCopiedPairList)

现在我们可以使用它了:

  /**
   * Creates a pair list with collectingAndThen, toList(), and PairList::new
   */
  @Test
  public void example() {
    List<List<Integer>> intPairs = Stream.of(1, 2, 3, 4, 5, 6)
        .collect(toPairList());
    System.out.println(intPairs); // [[1, 2], [2, 3], [3, 4]]

    List<List<String>> stringPairs = Stream.of("a", "b", "c", "d")
        .collect(toPairList());
    System.out.println(stringPairs); // [[a, b], [b, c]]
  }

这是一个包含可运行示例的完整源文件(作为JUnit测试):

package ex;

import java.util.AbstractList;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;
import java.util.Objects;
import java.util.stream.Collector;
import java.util.stream.Collectors;
import java.util.stream.Stream;
import org.junit.Test;

public class PairCollectors {

  /**
   * A view on a list of its elements as pairs.
   * 
   * @param <T> the element type
   */
  static class PairList<T> extends AbstractList<List<T>> {
    private final List<T> elements;

    /**
     * Creates a new pair list.
     * 
     * @param elements the elements
     * 
     * @throws NullPointerException if elements is null
     * @throws IllegalArgumentException if the length of elements is not even
     */
    public PairList(List<T> elements) {
      Objects.requireNonNull(elements, "elements must not be null");
      this.elements = new ArrayList<>(elements);
      if (this.elements.size() % 2 != 0) {
        throw new IllegalArgumentException("number of elements must have even size");
      }
    }

    @Override
    public List<T> get(int index) {
      return Arrays.asList(elements.get(index), elements.get(index + 1));
    }

    @Override
    public int size() {
      return elements.size() / 2;
    }
  }

  /**
   * Returns a collector that collects to a pair list.
   * 
   * @return the collector
   */
  public static <E> Collector<E, ?, PairList<E>> toPairList() {
    return Collectors.collectingAndThen(Collectors.toList(), PairList::new);
  }

  /**
   * Creates a pair list with collectingAndThen, toList(), and PairList::new
   */
  @Test
  public void example() {
    List<List<Integer>> intPairs = Stream.of(1, 2, 3, 4, 5, 6)
        .collect(toPairList());
    System.out.println(intPairs); // [[1, 2], [2, 3], [3, 4]]

    List<List<String>> stringPairs = Stream.of("a", "b", "c", "d")
        .collect(toPairList());
    System.out.println(stringPairs); // [[a, b], [b, c]]
  }    
}

答案 2 :(得分:2)

假设Pairleftright以及getter和构造函数:

 static class Paired<T> extends AbstractSpliterator<Pair<T>> {

    private List<T> list = new ArrayList<>(2);

    private final Iterator<T> iter;

    public Paired(Iterator<T> iter) {
        super(Long.MAX_VALUE, 0);
        this.iter = iter;
    }

    @Override
    public boolean tryAdvance(Consumer<? super Pair<T>> consumer) {
        getBothIfPossible(iter);
        if (list.size() == 2) {
            consumer.accept(new Pair<>(list.remove(0), list.remove(0)));
            return true;
        }
        return false;
    }

    private void getBothIfPossible(Iterator<T> iter) {
        while (iter.hasNext() && list.size() < 2) {
            list.add(iter.next());
        }
    }

}

用法是:

 Iterator<Integer> iterator = List.of(1, 2, 3, 4, 5).iterator();
 Paired<Integer> p = new Paired<>(iterator);
 StreamSupport.stream(p, false)
            .forEach(pair -> System.out.println(pair.getLeft() + "  " + pair.getRight()));

答案 3 :(得分:2)

我知道我迟到了,但所有答案似乎都很复杂,或者有很多GC开销/短期对象(这对现代JVM来说并不是很重要),但为什么不呢?这样做真的很棒吗?

public class PairCollaterTest extends TestCase {
    static class PairCollater<T> implements Function<T, Stream<Pair<T, T>>> {
        T prev;

        @Override
        public Stream<Pair<T, T>> apply(T curr) {
            if (prev == null) {
                prev = curr;
                return Stream.empty();
            }
            try {
                return Stream.of(Pair.of(prev, curr));
            } finally {
                prev = null;
            }
        }
    }

    public void testPairCollater() {
        Stream.of("0", "1", "2", "3", "4", "5").sequential().flatMap(new PairCollater<>()).forEach(System.out::println);
    }
}

打印:

(0,1)
(2,3)
(4,5)

答案 4 :(得分:0)

只需将IntStream.range(1, 101)替换为您的信息流(您无需知道信息流的大小) -

import java.util.ArrayList;
import java.util.List;
import java.util.stream.IntStream;

public class TestClass {

    public static void main(String[] args) {

        final Pair pair = new Pair();
        final List<Pair> pairList = new ArrayList<>();

        IntStream.range(1, 101)
                .map(i -> {
                    if (pair.a == null) {
                        pair.a = i;
                        return 0;
                    } else {
                        pair.b = i;
                        return 1;
                    }
                })
                .filter(i -> i == 1)
                .forEach(i -> {
                    pairList.add(new Pair(pair));
                    pair.reset();
                });

        pairList.stream().forEach(p -> System.out.print(p + " "));
    }

    static class Pair {
        public Object a;
        public Object b;

        public Pair() {
        }

        public Pair(Pair orig) {
            this.a = orig.a;
            this.b = orig.b;
        }

        void reset() {
            a = null;
            b = null;
        }

        @Override
        public String toString() {
            return "{" + a + "," + b + '}';
        }
    }

}