Question

尝试通过SFTP连接到另一个群集中的文件，但没有任何效果。

当前spark版本为：'2.2.0.2.6.4.0-91。

scala：2.11.8'

。

下面是数据框：

val df_file_feed =spark.read.format("com.springml.spark.sftp").option("host","1-1111").option("username","user").option("password","pasword").option("fileType","csv").load("/home/folder/Path_02.csv")


Exception in thread "main" java.lang.ClassNotFoundException: Failed to find data source: com.springml.spark.sftp.

也尝试过这些罐子。 spark-sftp_2.10-1.0.2.jar spark-sftp_2.11-1.1.0.jar ,spark-sftp_2.11-1.1.4.jar

Answer 1

如果您使用的是火花壳，则必须尝试这样...

bin/spark-shell --packages com.springml:spark-sftp_2.11:1.1.3

看看Spark SFTP Connector Library，其中指出

链接您可以通过以下方式在程序中链接到该库：

Maven依赖

<dependency>
    <groupId>com.springml</groupId>
    <artifactId>spark-sftp_2.11</artifactId>
    <version>1.1.3</version>
</dependency>

SBT依赖

libraryDependencies += "com.springml" % "spark-sftp_2.11" % "1.1.3"

Spark SFTP连接器库-Spark SFTP连接失败

1 个答案: