我在Scala中编写了Spark代码。我的代码读取xml并提取其中的所有信息。目标是将XML中的信息存储到Redshift表中。
是否可以直接从我的Scala Spark代码向Redshift发送数据而不使用S3？
干杯！
答案 0 :(得分：1)
如果您正在使用Spark SQL，则可以使用spark-xml将XML数据读入DataFrame，然后使用spark-redshift将其写入Redshift表。 您还可以查看此question。
答案 1 :(得分：0)
您可以使用预先准备好的SQL语句将行级别插入到Python / Java代码中，但如果要插入多个记录，则效率极低。