如何使用scala在Apache Spark中运行shell文件

Question

我需要使用scala在spark的代码末尾执行一个shell文件。我在代码中使用了count和groupby函数。我应该提一下，我的代码完美无需最后一行代码。

(import sys.process._
/////////////////////////linux commands
val procresult="./Users/saeedtkh/Desktop/seprator.sh".!!)

你能帮我解决一下吗？

Answer 1

您必须使用Scala SDK中的sys.process._包，并将DSL与!一起使用：

import sys.process._
val result = "ls -al".!

或与scala.sys.process.Process相同：

import scala.sys.process._
Process("cat data.txt")!

Answer 2

你几乎就在那里。您需要在命令的末尾添加。!! 。例如：

tsconfig.json

我使用Seq的原因是你可以更好地控制你传递的参数。 看这篇文章：How to execute shell builtin from Scala