Question

My Spark Streaming应用程序将数据存储在MongoDB中。

不幸的是，每个Spark工作人员在将其存储在MongoDB中时打开了太多连接

以下是我的代码Spark - Mongo DB代码：

public static void main(String[] args) {

    int numThreads = Integer.parseInt(args[3]);
    String mongodbOutputURL = args[4];
    String masterURL = args[5];

    Logger.getLogger("org").setLevel(Level.OFF);
    Logger.getLogger("akka").setLevel(Level.OFF);

//    Create a Spark configuration object to establish connection between the application and spark cluster
    SparkConf sparkConf = new SparkConf().setAppName("AppName").setMaster(masterURL);

    // Configure the Spark microbatch with interval time
    JavaStreamingContext jssc = new JavaStreamingContext(sparkConf, new Duration(60*1000));

    Configuration config = new Configuration();
    config.set("mongo.output.uri", "mongodb://host:port/database.collection");

//    Set the topics that should be consumed from Kafka cluster
    Map<String, Integer> topicMap = new HashMap<String, Integer>();
    String[] topics = args[2].split(",");
    for (String topic: topics) {
      topicMap.put(topic, numThreads);
    }

//    Establish the connection between kafka and Spark
    JavaPairReceiverInputDStream<String, String> messages =
            KafkaUtils.createStream(jssc, args[0], args[1], topicMap);

    JavaDStream<String> lines = messages.map(new Function<Tuple2<String, String>, String>() {
      @Override
      public String call(Tuple2<String, String> tuple2) {
        return tuple2._2();
      }
    });

    JavaPairDStream<Object, BSONObject> save = lines.mapToPair(new PairFunction<String, Object, BSONObject>() {
        @Override
        public Tuple2<Object, BSONObject> call(String input) {
            BSONObject bson = new BasicBSONObject();
            bson.put("field1", input.split(",")[0]);
            bson.put("field2", input.split(",")[1]);
            return new Tuple2<>(null, bson);
        }
    });
    // Store the records in database    
    save.saveAsNewAPIHadoopFiles("prefix","suffix" ,Object.class, Object.class, MongoOutputFormat.class, config);

    jssc.start();
    jssc.awaitTermination();
  }

如何控制每个工人的连接数？

我是否缺少任何配置参数？

更新1：

我正在使用Spark 1.3和Java API。

我无法执行coalesce()，但我能够进行repartition(2)操作。

现在没有连接得到控制。

但我认为连接没有被关闭或者没有在工人身上重复使用。

请查看以下屏幕截图：

流间隔1分钟和2个分区

Answer 1

您可以尝试映射分区，它在分区级别而不是记录级别上工作，即，在一个节点上执行任务将共享一个数据库连接而不是每个记录。

我猜你也可以使用预分区（不是流RDD）。 Spark很聪明，可以利用它来减少随机播放。

Answer 2

我能够使用foreachRDD来解决这个问题。

我正在建立连接并在每个DStream之后关闭它。

myRDD.foreachRDD(new Function<JavaRDD<String>, Void>() {
            @Override
            public Void call(JavaRDD<String> rdd) throws Exception {
                rdd.foreachPartition(new VoidFunction<Iterator<String>>() {
                    @Override
                    public void call(Iterator<String> record) throws Exception {
                MongoClient mongo = new MongoClient(server:port);
                DB db = mongo.getDB(database);
                DBCollection targetTable = db.getCollection(collection);
                BasicDBObject doc = new BasicDBObject();
                while (record.hasNext()) {
                    String currentRecord = record.next();
                    String[] delim_records = currentRecord.split(",");
                    doc.append("column1", insert_time);
                    doc.append("column2", delim_records[1]);
                    doc.append("column3",delim_records[0]);
                    targetTable.insert(doc);
                    doc.clear();                        
                }
                mongo.close();                  
                }
                });
                return null;
            }
        });

MongoDB和Spark中的连接太多

2 个答案: