Swift消息（MT *）

Question

我正在寻找一个选项来将swift消息（MT101）存储在hdfs或nonsql数据库中。我们可以在spark中使用python将它存储在mongo DB中吗？ 如果有人按照类似的要求工作，请告诉我

Answer 1

如果您愿意在解决方案中使用Java，则Prowide Core库中的此模型适用于MT持久性。邮件以原始格式存储并带有元数据：

https://static.javadoc.io/com.prowidesoftware/pw-swift-core/SRU2017-7.9.7/com/prowidesoftware/swift/model/MtSwiftMessage.html

它旨在用于关系数据库中的JPA，但是您可以解决它，使其在Mongo DB中具有类似的结构。

Answer 2

请检查这个Mongodb火花连接器。

https://github.com/mongodb/mongo-hadoop/wiki/Spark-Usage

Python有一个例子。 基本上你需要导入pymongo_spark和pymongo才能使用spark连接器。

import pymongo_spark pymongo_spark.activate()

要创建RDD，只需调用mongoRDD

即可

rdd = sc.mongoRDD（'mongodb：//：/ db.collection'）

将此RDD作为不同的集合保存回MongoDB。

rdd.saveToMongoDB（ '的mongodb：//：/db.other.collection'）

谢谢，

查尔斯。