Spark Java Collection Accumulator Object添加问题

时间:2016-12-29 06:49:46

标签: java apache-spark spark-streaming

我是Spark的新手。

我正在使用Spark CollectionAccumulator添加自定义项目列表。对于同一个客户,我可以拥有多个对象,并且所有这些都需要添加到累加器中。

发生的事情是如果我有3个具有相同客户的对象,则所有客户对象都会被最后一个对象覆盖。

例如:

{   " customerid":2023,   "电子邮件":" test.2023@test.se",   "名字":" Magdalena",   "姓氏":" Fridh",   "移动":" 000000000",
  "评论":null,   " extracomments":null,   "由":null修改 } {   " customerid":2023,   "电子邮件":" test.2023@test.se",   "名字":" Magdalena",   "姓氏":" Fridh",   " mobile":" 1111111111",
  "评论":null,   " extraracomments":"测试",   "由":null修改 }

我将foreach中的两个对象添加到collectionaccumulator中。 但是在添加之后,两个对象具有相同的属性值。两个对象值都被最后插入的对象覆盖。

你能帮我吗

感谢。

0 个答案:

没有答案