如何从Cloudera导出元数据

Question

我刚开始使用基于Hadoop的系统，目前我在Cloudera 5.2工作。我试图从HDFS / Hive和其他软件中获取元数据。当我说元数据时，我的意思是： - 对于Hive：数据库模式和表模式 - 对于HDFS：HDFS中的目录结构，创建和修改时间，所有者和访问控制

有谁知道如何将表模式从Hive导出到表或CSV文件中？

Hive EXPORT函数似乎不支持仅提供架构。我找到了Pig DESCRIBE函数，但我不确定如何将输出转换为类似于表格的结构;似乎只能在屏幕上显示。

谢谢

Answer 1

Cloudera Navigator可用于管理/导出HDFS和Hive中的元数据。 Navigator Metadata Server定期收集集群的元数据信息，并提供用于检索元数据信息的REST API。更多详情请见http://www.cloudera.com/content/cloudera/en/documentation/cloudera-navigator/v2-latest/Cloudera-Navigator-Installation-and-User-Guide/cnui_metadata_arch.html。

我不熟悉Hive，但您也可以通过以下方式提取HDFS元数据：

1. 获取HDFS fsimage。 ＆＃34; hdfs dfsadmin -fetchImage ./fsimage"
2. 使用OfflineImageViewer处理fsimage。 ＆＃34; hdfs oiv XM​​L -i ./fsimage -o ./fsimage.out"

有关https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsImageViewer.html的HDFS OIV的更多信息。