Question

在Spark中创建了一个镶木地板文件。这是代码段

parquet_file_name = os.path.join(partition, os.path.basename(fileLocation) + ".parquet")

dfData = sqlContext.createDataFrame(addedColumns, schema)

dfData.save(parquet_file_name, "parquet", "append")

我可以在Spark中阅读文件内容。

In [1]:
sqlContext = SQLContext(sc)
parquetFile = sqlContext.parquetFile("/temp//browser/pub/browser.parquet/part-r-00001.parquet")
parquetFile.head(10)

Out[1]:
[Row(browserID=u'1', browserName=u'Lynx 2.7.1'),
 Row(browserID=u'2', browserName=u'Lynx 2.7'),
 Row(browserID=u'3', browserName=u'Lynx 2.6'),
 Row(browserID=u'4', browserName=u'Lynx 2.5'),
 Row(browserID=u'5', browserName=u'Lynx 2.4'),
 Row(browserID=u'6', browserName=u'Lynx (unknown version)'),
 Row(browserID=u'7', browserName=u'Lotus Notes 4.5'),
 Row(browserID=u'8', browserName=u'AOL 4.0'),
 Row(browserID=u'9', browserName=u'AOL 3.0'),
 Row(browserID=u'10', browserName=u'Microsoft Internet Explorer 5.0 beta 2')]

使用以下语法

在镶木地板文件上创建Hive外部表

CREATE EXTERNAL TABLE browser
(
fld1 string,
fld2 string,
FileName string,
LoadDate string,
Checksum string,
RecordId string
)
PARTITIONED BY (fname string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS
INPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION 'hdfs://nameservice1/temp/dims/browser';

修改表以添加分区

ALTER TABLE browser ADD PARTITION (fname='browser.parquet')
LOCATION 'hdfs://nameservice1/temp/dims/browser/browser.parquet';

从Hue中的表中选择*会为所有行和列返回null。

select * from browser;

browser.fld1    browser.fld2    browser.filename    browser.loaddate    browser.checksum    browser.recordid    browser.fname
0   NULL    NULL    NULL    NULL    NULL    NULL    browser.parquet/part-r-00001.parquet
1   NULL    NULL    NULL    NULL    NULL    NULL    browser.parquet/part-r-00001.parquet
2   NULL    NULL    NULL    NULL    NULL    NULL    browser.parquet/part-r-00001.parquet
3   NULL    NULL    NULL    NULL    NULL    NULL    browser.parquet/part-r-00001.parquet
4   NULL    NULL    NULL    NULL    NULL    NULL    browser.parquet/part-r-00001.parquet
5   NULL    NULL    NULL    NULL    NULL    NULL    browser.parquet/part-r-00001.parquet
6   NULL    NULL    NULL    NULL    NULL    NULL    browser.parquet/part-r-00001.parquet

Cloudera CDH 5.4.1

Spark 1.3.0

Hue 3.7.0

任何指针如何修复此问题，如果您需要我需要的其他信息，我将添加。感谢。

Answer 1

您使用的hive架构看起来与镶木地板文件内容不同，请参阅：

Row(browserID=u'1', browserName=u'Lynx 2.7.1')

它看起来并不像表定义。您可以使用以下内容查看spark中的镶木地板图案：

val f = sqlContext.parquetFile( "your file")
f.schema.foreach( x => println(x.name, x.dataType))

并检查它与蜂巢的不同之处。

另外，为了确保涵盖所有基础知识，为什么不让spark为您创建蜂巢表？

val hc = new org.apache.spark.sql.hive.HiveContext(sc)
yourDF.saveAsTable("yourtable")

此外，最近版本的hive原生支持镶木地板，所以你应该只能说“SAVE AS PARQUET”而不是指定serde / inputformat / outputformat

无法查询Spark创建的镶木地板文件

1 个答案: