提供对Hadoop中非结构化文件的访问

时间:2013-08-07 11:14:19

标签: hadoop hive hdfs

所以我有一个在HDFS中存档的文件集合,文件名中有一个唯一的密钥。我在HIVE表中有一个记录表,其中包含相同的唯一键。

我如何向其他用户提供对文件的访问权限?我可能需要限制对某些用户的访问权限。

我正在考虑提供对hive表中文件的引用。

我还可以查看某种用于搜索下载文件的Web界面。

1 个答案:

答案 0 :(得分:0)

每次执行查询时,Hive都会启动MapReduce作业(或几个)。通过设置和拆除MapReduce作业而引入的延迟超出了Web界面所期望的任何可接受的响应标准。

我建议您将文件的元数据保存在关系数据库中。你必须有一个关系数据库,比如PostgreSQL,来存储Hive元数据。我当然希望你没有使用默认的Derby!