Question

我正在尝试使用ftp在Apache Spark（Scala版本）中的远程计算机上读取文件。目前，我在GitHub上关注Databricks的Learning Spark回购中的一个例子。使用curl，我可以下载文件，因此我使用的路径存在。

下面是我尝试执行的代码片段：

var file = sc.textFile("ftp://user:pwd/192.168.1.5/brecht-d-m/map/input.nt")
var fileDF = file.toDF()
fileDF.write.parquet("out")

尝试对数据帧执行计数后，我得到以下stacktrace（http://pastebin.com/YEq8c2Hf）：

org.apache.spark.sql.catalyst.errors.package$TreeNodeException: execute, tree:
TungstenAggregate(key=[], functions=[(count(1),mode=Final,isDistinct=false)], output=[count#1L])
+- TungstenExchange SinglePartition, None
   +- TungstenAggregate(key=[], functions=[(count(1),mode=Partial,isDistinct=false)], output=[count#4L])
      +- Project
         +- Scan ExistingRDD[_1#0]

...

Caused by: org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: ftp://user:pwd@192.168.1.5/brecht-d-m/map/input.nt

我认为该文件无法访问，但这与我能够通过curl检索文件相矛盾：

curl ftp://user:pwd@192.168.1.5/brecht-d-m/map/input.nt

这将打印出终端上的特定文件。我没有看到我在Scala代码中做错了什么。我在上面给出的代码片段中是否有错误，或者该代码是完全错误的？

提前致谢，布莱希特

注意：

指定整个路径（/home/brecht-dm/map/input.nt）也不起作用（正如预期的那样，因为这在curl中也不起作用;＆＃34;服务器拒绝您更改到给定目录＆＃34;）。在Spark中尝试这个，给出了不支持seek的IOException（http://pastebin.com/b9EB9ru2）。
在本地工作（例如sc.textFile（＆＃34; /home/brecht-d-m/map/input.nt"））完美无缺。
所有用户都将特定文件的文件权限设置为R + W.
文件大小（15MB）应该不是问题，它应该能够处理更大的文件。
软件版本：Scala 2.11.7，Apache Spark 1.6.0，Java 1.8.0_74，Ubuntu 14.04.4

Answer 1

我找到了解决方法。通过下面的代码片段：

import org.apache.spark.SparkFiles

val dataSource = "ftp://user:pwd/192.168.1.5/brecht-d-m/map/input.nt"
sc.addFile(dataSource)
var fileName = SparkFiles.get(dataSource.split("/").last)
var file = sc.textFile(fileName)

我可以通过FTP下载文件（使用与第一个代码段相同的URL）。此解决方法将首先下载该文件（通过addFile）。接下来，我检索文件下载的路径。最后，我使用该路径将该文件加载到RDD中。

Answer 2

我也有使用scala获取远程文件的相同要求。当前答案不能解决sftp的问题（大多数情况下适用于各公司）。

我正在使用以下scala代码从文件创建inputStream。我将其转换为String。但是我们可以选择创建rdd并将其保存到文件系统中。

分享这种情况，以防有人必须使用Scala。

将jsch导入build.sbt的条目：

libraryDependencies += "com.jcraft" % "jsch" % "0.1.55"

现在使用jsch内置类创建以下方法：

import com.jcraft.jsch.{ChannelSftp, JSch, JSchException}
      def getRemoteFile: String = {
        val jsch = new JSch()
        try{
          val session = jsch.getSession("devuser", "175.1.6.60", 22)
          session.setConfig("StrictHostKeyChecking", "no")
          session.setPassword("devpassword")
          session.connect()

          val channel = session.openChannel("sftp")
          channel.connect()
          val sftpChannel = channel.asInstanceOf[ChannelSftp]
          val output = sftpChannel.get("/tmp/monitoring/greenplum_space_report.txt")
          val displayAns = scala.io.Source.fromInputStream(output).mkString
          sftpChannel.exit()
          session.disconnect()
          displayAns
        }
        catch {
          case ex : JSchException => ex.printStackTrace().toString
        }
      }

使用ftp在Apache Spark中的远程计算机上读取文件

2 个答案: