我不断收到这样的消息,即使文件包含很多行:
读取文件路径:file:/// C:/partition=1/a=2/MYFILE1.EXT,范围:0-1399,分区值:[空行]
这是我在做什么:(在Windows环境下)
1)我遵循以下代码:
Dataset<Row> messages = spark.read().text(“/C:/partition=1/a=2/ZC_OR_CASE_CLASS_20180425_20180425_150248.EXT”);
Row first = messages.first()
“第一个”方法完成后,我会收到此消息。随后,当我执行messages.mapPartitions(…)时,它不会进入函数内部;暗示分区确实是空的!我怎样才能解决这个问题? 注意:我需要执行此操作,以便可以在IntelliJ下调试程序。