Spark Java序列化异常 - 任务不可序列化

Question

几天前在Spark开始了。我无法找到足够的信息来解决这个问题。在做其他逻辑之前，从Cassandra读取一些记录并尝试对其进行分组。

我在此代码块中获得Task Not Serializable。所有自定义实体都是可序列化的

rdd.cache（）;

        JavaPairRDD<EventStatusGroupKey, Iterable<TestEvent>> groupedRdd = rdd.groupBy(new Function<TestEvent, EventStatusGroupKey>() {
            @Override
            public EventStatusGroupKey call(TestEvent testEvent) throws Exception {
                int minute = LocalDateTime.ofInstant(Instant.ofEpochMilli(UUID.fromString(testEvent.getEid()).timestamp()), ZoneId.systemDefault()).getMinute();
                return new EventStatusGroupKey(testEvent.getStatus(), minute);
            }
        });

可能导致此问题的原因是什么？

Answer 1

您确定自定义类中包含可序列化对象吗？