spark-dataframe / mongo-附加数据

时间:2018-09-03 03:04:19

标签: mongodb pyspark apache-spark-sql

我需要使用spark-dataframe将数据附加到mongodb。例如,假设一个投资组合中有10万股股票:

股票A

  • 2018年1月

    • 利润:3万美元

股票B

  • 2018年1月
    • 个人资料:-1万美元

MongoDB

_id: ObjectId('XXX1')

stock: Stock A

monthlyProfit: Array

    0: Object

        Month: Jan 2018

        Profit: 30k


_id: ObjectId('XXX2')

stock: Stock B

monthlyProfit: Array

    0: Object

        Month: Jan 2018

        Profit: -10k

如果要追加2月份的利润,我如何在现有数组中添加一个元素并将其推入mongodb,而又不会出现性能问题,因为集合中所有10万个文档都需要进行相同的更新?

0 个答案:

没有答案