Question

我想将数据从csv加载到mySql作为批处理。但我可以看到教程/逻辑将数据从csv插入到hive数据库。有人可以帮我用scala实现上面的spark集成吗？

Answer 1

这些教程不存在是有原因的。这项任务非常简单。这是最小的工作示例：

val dbStr = "jdbc:mysql://[host1][:port1][,[host2][:port2]]...[/[database]]"

spark
  .read
    .format("csv")
    .option("header", "true")
    .load("some/path/to/file.csv")
  .write
    .mode("overwrite")
    .jdbc(dbStr, tablename, props)

Answer 2

使用spark会话创建dataframe阅读CSV，并使用方法jdbc和mysql连接属性进行编写

val url = "jdbc:mysql://[host][:port][/[database]]"
val table = "mytable"
val property = new Properties()

spark
  .read
    .csv("some/path/to/file.csv")
  .write
    .jdbc(url, table, property)

如何在Spark中将数据从csv加载到mysql数据库？

2 个答案: