我试图理解sparks中的分区如何用于NON KEY VALUE对记录。 命令如下
val FileRDD= sc.textFile("hdfs://nameservice1:8020/apps/file/outbound/terms/processed/HDFC_outbound/HDFC_EXTRACT_604/HDFC_RBI_20180205.dat");
文件大小为512字节。我还没有配置任何分区，partitioner = NONE。 当我给命令FileRDD.partitions.size时，我得到2个分区。 我想了解有两个分区。