Question

我想使用Spark SQLContext将记录插入到表中。

以下是我为检索数据所做的示例代码

        Class.forName(dbDriver);

        Map<String, String> options = new HashMap<String, String>();
        options.put("url", dbUrl);
        options.put("dbtable", dbTable);
        options.put("driver", dbDriver);

        SparkConf conf = new SparkConf().setAppName("JAVA_SPARK")
                .setMaster("local[2]").set("spark.ui.port‌", "7077");

        JavaSparkContext jsc = new JavaSparkContext(conf);

        SQLContext sqlContext = new SQLContext(jsc);

        DataFrame dframe = sqlContext.read().format("jdbc")
                .options(options).load();

        dframe.show();

如何在表格中插入新记录？ dframe.show（）操作对我来说很好。

Answer 1

我认为Spark-Sql现在没有提供这样的功能，你可以自己实现该方法，然后可以像foreach一样调用它来实现当前场景的解决方案，

有关实施此功能的更多信息和最佳做法，请参阅此处：Inserting Analytic data from Spark to Postgres

使用postgres和java进行Spark插入操作

1 个答案: