如何从PySpark有效登录？

Question

我想知道在Spark群集上从EMR（使用Pyspark）进行日志记录的最佳做法是什么。我们希望得到某种反馈，我们可以查看这些反馈，看看工作是怎么做的，而不必等到工作失败或完成才能知道。