标签: debugging apache-spark apache-spark-sql spark-dataframe
调试spark程序时,我可以暂停堆栈并查看框架以查看DataFrame的所有元数据。分区元数据,如输入拆分,逻辑计划元数据,底层RDD元数据等。但我无法看到DataFrame的内容。 DataFrame是另一个节点上的另一个JVM,甚至是同一节点(在本地训练集群上)。所以我的问题是,是否有人使用一种方法进行故障排除,他们在哪里查看DataFrame分区的内容,以及调试驱动程序的方式?