Spark:通过数据库设置Colum值的有效方法

时间:2019-07-01 19:31:44

标签: java apache-spark apache-spark-sql

试图找出从另一个数据库创建新数据集列的有效方法。

使用Map <>()函数可以正常工作,但这是一项耗时的活动。

Dataset<Row> resultDF = inputDF.map(
                   new MapFunction<Row, Row>() {
                   @Override
                    public Row call(Row row) throws Exception {
                     String param = row.getString(input.schema().fieldIndex("column2"));
                    String newColumn = callDatabase(dbConnection, param);
                    row.add(newColumn)
                     }
                   }

);

尝试使用UDF,但无法创建数据库连接。

还有另一种实现方法吗?

0 个答案:

没有答案