从实木复合地板文件创建表格

时间:2019-03-20 18:06:33

标签: scala apache-spark

我在插入数据时遇到问题。 实际上,我在dataFrame中读取了一些csv文件,并将dataFrame存储在HDFS上,如:

val data = spark.read.option("header", "true").option("delimiter", ",").csv("/path_to_csv//*.csv")
data.repartition($"year", $"month", $"day").write.partitionBy("year", "month", "day").mode("overwrite").option("header", "true").option("delimiter", ",").parquet ("/path/to/parquet")

然后我在存储的实木复合地板上创建了一个外部装饰,例如:

create external table tab (col1 string, col2 string, col3 int)
partitioned by (year int,month int,day int) stored as parquet
LOCATION 'hdfs://path/to/parquet'

直到这里都可以!但是当我在桌子上做一个请求时:

select * from tab

我没有结果。 有人遇到这个问题吗?

谢谢。

0 个答案:

没有答案