如何将自定义对象传递给工作程序节点?

时间:2019-05-13 16:43:04

标签: scala apache-spark

用例示例-

val getApiObject1 = new xyz(some parameters) 

val getApiObject2 = new xyz(some parameters)

val getApiObject1 = new xyz(some parameters)

val objectList = List(getApiObject1, getApiObject2, getApiObject3)

val DF = objectList.toDF()

错误-任务无法序列化,因为工作节点不知道如何处理不是任何原始类型的自定义对象类型

如何序列化这些类型的对象?如果我可以将这些对象原样发送给工作程序节点,则这些对象将具有获取json响应的内置方法。我可以将负载分配给worker,并在worker节点本身中获取json响应。

请提出建议。

0 个答案:

没有答案