Question

团队，我正在使用Azure数据块，可以使用以下选项将数据帧写入CSV文件：

df2018JanAgg
.write.format("com.databricks.spark.csv")
.option("header", "true")
.save("dbfs:/FileStore/output/df2018janAgg.csv")

但是我正在寻找一个选项，可以将数据从SQL表直接写入Scala中的CSV。有人可以让我知道是否存在这种选择。

谢谢，斯里尼

Answer 1

是的，可以在sql表和Datafame之间直接加载数据，反之亦然。参考：https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html

const readAllTables = async() => {
  const AWS = require("aws-sdk");
  var dynamodb = new AWS.DynamoDB();

  var params = {};
  var tables = [];

  while(true) {
    var response = await dynamodb.listTables(params).promise();
    tables = tables.concat(response.TableNames);

    if (undefined === response.LastEvaluatedTableName) {
      break;
    } else {
      params.ExclusiveStartTableName = response.LastEvaluatedTableName;
    }
  }

  return tables;
}

将SQL表直接写入Scala中的文件

1 个答案: