将Apache spark集群与多个数据库集成

时间:2018-04-05 20:01:49

标签: mongodb apache-spark cassandra

我的团队使用不同的数据库,比如mongodb和cassandra 我需要知道是否可以将单个火花簇与mongodb和casssandra簇集成 或者,换句话说,是否可以在同一个spark应用程序中从mongodb和cassandra创建数据帧?

1 个答案:

答案 0 :(得分:1)

Spark只能看到DataFrames和RDD。只要存在连接器,您使用哪个数据库并不重要。您可以在单个Spark Context

中根据需要创建任意数量的外部连接

可以合并任何读入这些格式的数据源