Scala spark sftp复制crc文件而不是数据帧内容

时间:2017-04-20 08:13:51

标签: scala apache-spark sftp

我正在尝试将数据帧复制到sftp位置。以下是相同的代码:

val df:DataFrame = Seq(
  ("e1", "s1", "v1"),
  ("e1", "s1", "v1")
).toDF("email","rule","tag")

df.write.
  format("com.springml.spark.sftp").
  option("host", "SFTP-HOST").
  option("username", "SFTP-USER").
  option("password", "****").
  option("fileType", "csv").
  save("/abc/sample2.csv")

但同样的是复制crc文件而不是dataframe的内容。 任何建议。

使用的库:编译com.springml:spark-sftp_2.11:1.1.0

0 个答案:

没有答案