如何在spark中记录数据帧?

时间:2015-11-03 16:30:21

标签: apache-spark apache-spark-sql

我比较新兴。但是我需要发现,有一种方法可以让我们看到在什么时间访问哪个数据帧。这可以通过原生火花测井来实现吗?

如果是这样,那么我该如何实现呢?

1 个答案:

答案 0 :(得分:0)

DAG可视化和事件时间线是Spark 1.4提供的两个非常重要的内置火花工具,您可以使用它们查看使用的DF / RDD以及步骤。在此处查看更多详细信息 - Understanding your Spark application through visualization