Hadoop-common，Hadoop-core和Hadoop-client之间的区别？

Question

我是 Hadoop 的新手，想知道 Hadoop-common ， Hadoop-core 和之间的区别Hadoop的客户端

顺便说一句，对于给定的类，我如何知道 Maven 中哪个工件包含它？例如，哪一个包含 org.apache.hadoop.io.Text ？

Answer 1

从高层角度帮助提供有关Hadoop-common，Hadoop-core和Hadoop-client之间差异的一些其他详细信息：

• Hadoop-common是指支持Hadoop模块的常用实用程序和库。
• Hadoop-core与Hadoop-common相同;根据{{​​3}}，它于2009年7月更名为Hadoop-common。
• Hadoop-client是指用于与Hadoop的通用组件（HDFS，MapReduce，YARN）通信的客户端库，包括但不限于日志记录和编解码器。

一般来说，对于构建提交给YARN的应用程序的开发人员，运行MR作业，或者从HDFS访问文件使用Hadoop客户端库。

Answer 2

为了构建Hadoop map-reduce应用程序，您只需要hadoop客户端依赖项。 （使用新的API）。像hadoop-hdfs，hadoop-common，hadoop-clientapp，hadoop-yarn-api这样的依赖关系就此解决了。

Answer 3

来自techopedia

  

Hadoop Common指的是支持其他Hadoop模块的常用实用程序和库的集合。它是Apache Hadoop Framework的重要组成部分或模块，以及Hadoop分布式文件系统（HDFS），Hadoop YARN和Hadoop MapReduce。

与所有其他模块一样，Hadoop Common假设硬件故障很常见，并且这些故障应由Hadoop框架自动在软件中处理。

Hadoop Common也称为Hadoop Core。

Hadoop Client libraries有助于将数据加载到集群中，提交描述应如何处理数据的Map Reduce作业，然后在完成作业时检索或查看作业的结果。看看这个article

此Apache链接提供Hadoop客户端库的依赖项列表。