使用ftp url通过spark-sftp连接器上传数据帧

时间:2019-04-27 04:49:12

标签: connector spark-sftp

参考链接:https://github.com/springml/spark-sftp

// Construct Spark dataframe using file in FTP server
val df = spark.read.
        format("com.springml.spark.sftp").
        option("host", "SFTP_HOST").
        option("username", "SFTP_USER").
        option("password", "****").
        option("fileType", "csv").
        option("delimiter", ";").
        option("quote", "\"").
        option("escape", "\\").
        option("multiLine", "true").
        option("inferSchema", "true").
        load("/ftp/files/sample.csv")

// Write dataframe as CSV file to FTP server
df.write.
  format("com.springml.spark.sftp").
  option("host", "SFTP_HOST").
  option("username", "SFTP_USER").
  option("password", "****").
  option("fileType", "csv").
  option("delimiter", ";").
  option("codec", "bzip2").
  save("/ftp/files/sample.csv")

此代码段使用sftp协议,其路径与ftp协议不同。 如果我尝试从浏览器访问ftp,则URL为“ ftp://host/files/sample.csv”。请注意,文件夹结构之前没有“ / ftp”。文件夹/文件路径从文件而不是ftp开始。这是Java的ftp客户端中使用的格式。有什么方法可以使此连接器使用相同的功能。

预先感谢

0 个答案:

没有答案