rstudio像火花壳的repl

时间:2017-07-05 10:48:16

标签: shell apache-spark read-eval-print-loop

我正在寻找一种互动方式来处理类似于rstudio的spark-shell。 我的用法很简单 - 我想在编辑器中编写代码并在spark shell的终端中逐行执行。 我曾尝试过Jupyter笔记本和Zeppelin,但它们似乎还没有像Python后端一样准备好。 目前我每次都会剪切和粘贴,但这会在一段时间后变得很累。 谷歌搜索没有提出我认为有用的任何东西。

2 个答案:

答案 0 :(得分:0)

您可以使用Jupyter笔记本,但您需要安装和配置各自的内核到Jupyter All available kernels for Jupyter

正如你所说的spark-shell,我假设你正在编写scala代码 scala的可用内核包括:sparkmagicJupyter-scala

截至目前,Jupyter将允许您将脚本下载为扩展名为.py的文件 更改其扩展和编译将是一个开销(即使它可以在一定程度上减少您的工作)

答案 1 :(得分:0)

有两种选择:

  1. 在Intellij IDEA中使用Scala工作表。它可以在您键入时同时显示结果。无需每次都复制粘贴代码。请参阅此问题进行设置:How to setup Intellij 14 Scala Worksheet to run Spark
  2. 通过调整Atom文本编辑器来构建您自己的环境。 原子中有各种插件,包括终端和代码编辑器。安装其中一个并在终端中打开spark REPL。如果您愿意,可以添加一个快捷方式,在编辑器的REPL中运行所选代码(如ctrl +在Rstudio中输入)参考:https://atom.io/packages/terminal-plus