我在插入数据时遇到问题。 实际上,我在dataFrame中读取了一些csv文件,并将dataFrame存储在HDFS上,如:
val data = spark.read.option("header", "true").option("delimiter", ",").csv("/path_to_csv//*.csv")
data.repartition($"year", $"month", $"day").write.partitionBy("year", "month", "day").mode("overwrite").option("header", "true").option("delimiter", ",").parquet ("/path/to/parquet")
然后我在存储的实木复合地板上创建了一个外部装饰,例如:
create external table tab (col1 string, col2 string, col3 int)
partitioned by (year int,month int,day int) stored as parquet
LOCATION 'hdfs://path/to/parquet'
直到这里都可以!但是当我在桌子上做一个请求时:
select * from tab
我没有结果。 有人遇到这个问题吗?
谢谢。