spark 1.6-RDD的创建和历史

Question

我正在将pyspark 1.6与Python配合使用，并且希望跟踪以前的会话列表和历史记录。

例如：RDD在2天前创建了persist选项。 创建了RDD，并且它仅在当前会话中处于活动状态，当我退出会话时，我看不到先前转换的轨迹。

是否要配置任何设置或参数？

谢谢 维杰

Answer 1

您可以在spark REPL中使用：history命令。 它将提供用于当前会话的所有命令。

scala> :history
  1  exit
  2  quit
  3  quit;
  4  close();
  5  val rdd = sc.textFile(“README.md”)
  6  val rdd = sc.textFile("README.md")
  7  rdd.count();
  8  val rdd = sc.textFile("README.md")
  9  rdd.count()
 10  val rdd = sc.textFile("/Users/**/bashrc.txt")
 11  rdd.count()
 12  val rdd = sc.textFile("README.md")
 13  rdd.count();
 14  val rdd = sc.textFile("README.md")
 15  rdd.count()
 16  quit
 17  exit
 18  exit;
 19  history
 20  :history


 scala>