我正在尝试为我的hdfs实例设置块大小和行组大小。我进入火花壳并执行以下操作:
scala> spark.sparkContext.hadoopConfiguration.get("dfs.block.size")
res1: String = 134217728
scala> spark.sparkContext.hadoopConfiguration.get("parquet.block.size")
res1: String = null
我想知道行组大小的名称是否错误,或者我所使用的hadoop版本(2.7)是否不同。我从这里得到名字:http://ingest.tips/2015/01/31/parquet-row-group-size/