参考链接:https://github.com/springml/spark-sftp
// Construct Spark dataframe using file in FTP server
val df = spark.read.
format("com.springml.spark.sftp").
option("host", "SFTP_HOST").
option("username", "SFTP_USER").
option("password", "****").
option("fileType", "csv").
option("delimiter", ";").
option("quote", "\"").
option("escape", "\\").
option("multiLine", "true").
option("inferSchema", "true").
load("/ftp/files/sample.csv")
// Write dataframe as CSV file to FTP server
df.write.
format("com.springml.spark.sftp").
option("host", "SFTP_HOST").
option("username", "SFTP_USER").
option("password", "****").
option("fileType", "csv").
option("delimiter", ";").
option("codec", "bzip2").
save("/ftp/files/sample.csv")
此代码段使用sftp协议,其路径与ftp协议不同。 如果我尝试从浏览器访问ftp,则URL为“ ftp://host/files/sample.csv”。请注意,文件夹结构之前没有“ / ftp”。文件夹/文件路径从文件而不是ftp开始。这是Java的ftp客户端中使用的格式。有什么方法可以使此连接器使用相同的功能。
预先感谢