在Pyspark对象中查看文本

Question

我能够使用以下命令加载日志文件：

logFile = sc.textFile("/resources/jupyterlab/labs/BD0211EN/LabData/notebook.log")

但是，当我尝试查看log文件的内容时，却无法执行。我检查了dir(logFile)，但看不到里面的内容。现在，当我在Jupyter单元中运行代码时，将得到以下信息：

/resources/jupyterlab/labs/BD0211EN/LabData/notebook.log MapPartitionsRDD[1] at textFile at NativeMethodAccessorImpl.java:0

是否可以查看日志文件的内容？

谢谢

Answer 1

我想您需要的是以下内容：

logFile.collect()

这将向您显示按行分割的内容。