火花结构化流从mongoDB读取

时间:2019-12-23 19:20:59

标签: mongodb apache-spark

我写了

import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession

object App {

  def main(args: Array[String]): Unit = {

    val sparkConf: SparkConf =
      new org.apache.spark.SparkConf().setAppName("frf")
        .setMaster("local")
        .set("spark.mongodb.input.uri", "mongodb://127.0.0.1:27017/test.new_collection")
    val spark = SparkSession
      .builder().config(sparkConf)
      .getOrCreate()
      val df = spark.read.format("mongo").load()
       df.printSchema()
        }}

我想使用Spark结构化流从Mongodb集合中读取数据。您知道如何解决此问题,我什至没有找到使用Spark Streaming从MongoDB读取数据的方法。

0 个答案:

没有答案