在“读取文件路径”时获取“分区值:[空行]”

时间:2018-11-14 06:43:18

标签: java apache-spark intellij-idea hive apache-spark-sql

我不断收到这样的消息,即使文件包含很多行:

读取文件路径:file:/// C:/partition=1/a=2/MYFILE1.EXT,范围:0-1399,分区值:[空行]

这是我在做什么:(在Windows环境下)

1)我遵循以下代码:

Dataset<Row> messages = spark.read().text(“/C:/partition=1/a=2/ZC_OR_CASE_CLASS_20180425_20180425_150248.EXT”);
Row first = messages.first()

“第一个”方法完成后,我会收到此消息。随后,当我执行messages.mapPartitions(…)时,它不会进入函数内部;暗示分区确实是空的!我怎样才能解决这个问题? 注意:我需要执行此操作,以便可以在IntelliJ下调试程序。

0 个答案:

没有答案