我使用以下方法计算统计信息:
分析表lineitem_monthly计算统计信息列l_orderkey;
但是,当我描述表格时,我看不到任何统计信息。我究竟做错了什么?这是我直接从github代码构建的spark-sql构建。
试图在conf中设置标志:
spark.sql.statistics.histogram.enabled true
spark.sql.cbo.enabled true
spark-sql> describe lineitem;
L_ORDERKEY bigint NULL
L_PARTKEY bigint NULL
L_SUPPKEY bigint NULL
L_LINENUMBER int NULL
L_QUANTITY double NULL
L_EXTENDEDPRICE double NULL
L_DISCOUNT double NULL
L_TAX double NULL
L_RETURNFLAG string NULL
L_LINESTATUS string NULL
L_SHIPDATE string NULL
L_COMMITDATE string NULL
L_RECEIPTDATE string NULL
L_SHIPINSTRUCT string NULL
L_SHIPMODE string NULL
L_COMMENT string NULL
Time taken: 0.039 seconds, Fetched 16 row(s)
答案 0 :(得分:0)
尝试
spark.sql(“描述扩展表列”).show(false)