在HDFS中设置行组大小

时间:2018-11-13 17:20:22

标签: apache-spark hadoop hdfs parquet

我正在尝试为我的hdfs实例设置块大小和行组大小。我进入火花壳并执行以下操作:

scala> spark.sparkContext.hadoopConfiguration.get("dfs.block.size")
res1: String = 134217728

scala> spark.sparkContext.hadoopConfiguration.get("parquet.block.size")
res1: String = null

我想知道行组大小的名称是否错误,或者我所使用的hadoop版本(2.7)是否不同。我从这里得到名字:http://ingest.tips/2015/01/31/parquet-row-group-size/

0 个答案:

没有答案