Spark的通话功能

Question

抱歉，有关Spark的基本问题。我可以在Spark的调用函数中使用与原始类型不同的Java对象吗？例如，假设我有类似的东西：

JavaRDD<String> input = sc.textFile(dataFile);
    JavaRDD<String> output;
    output = input.map(new Function<String, String>() { public String call(String s) throws MalformedURLException {
            SystemConfiguration config = new SystemConfiguration();

...

如果我删除了我自己的类SystemConfiguratin的实例，它可以正常工作，但是在里面它没有工作（Spark完成失败）。 请问你能解释一下吗？非常感谢

Answer 1

只要您在转换中创建的对象是Serializable或声明@transient lazy（对于非可序列化的对象），您就是好的。