Question

我是NoSQL解决方案的新手，想和Hive一起玩。但是安装HDFS / Hadoop需要大量的资源和时间（可能没有经验，但我没有时间去做）。

有没有办法在没有HDFS / Hadoop的本地计算机上安装和使用Hive？

Answer 1

是的，你可以在没有hadoop的情况下运行hive 1.在本地系统上创建仓库 2.将默认fs作为file：/// 你可以在没有hadoop安装的情况下以本地模式运行配置单元

在Hive-site.xml中

<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
<configuration>
      <property>
         <name>hive.metastore.schema.verification</name> 
         <value>false</value> 
      </property> 
     <property> 
      <!-- this should eventually be deprecated since the metastore should supply this --> 
        <name>hive.metastore.warehouse.dir</name> 
        <value>file:///tmp</value>
        <description></description> 
     </property>
     <property> 
        <name>fs.default.name</name> 
        <value>file:///tmp</value> 
     </property> 
</configuration>

Answer 2

我建议你使用这样的东西。

http://hortonworks.com/products/hortonworks-sandbox/

它是一个功能齐全的虚拟机，可以立即启动所需的一切。

Answer 3

如果您只是在谈论在做出决定之前体验Hive，您可以使用预配置的VM作为@Maltram建议（Hortonworks，Cloudera，IBM和其他人都提供此类VM）

您应该记住，如果没有Hadoop和HDFS，您将无法在生产中使用Hive，因此如果您遇到问题，则应考虑使用Hive的替代方案

Answer 4

你不能，只需下载Hive，然后运行：

var

Hadoop就像一个核心，而Hive需要一些库。

Answer 5

更新 此答案已过时：对于Hive on Spark，不再需要hdfs支持。

Hive需要hdfs和map / reduce，所以你需要它们。另一个答案在推荐简单 /预先配置的方法来获得所有组件的意义上有一些优点。

但它的要点是：蜂巢需要hadoop和m / r所以在某种程度上你需要处理它。

Answer 6

尽管有一些细节需要牢记，但是在没有HDFS的情况下使用Hive是完全正常的。有一些细节需要牢记。

正如上面提到的一些评论者，您仍然需要来自hadoop common的一些.jar文件。
截至今天（2020年XII），运行Hive / hadoop3对非常困难。在Hive2中使用稳定的hadoop2。
确保正确设置POSIX权限，以便本地配置单元可以访问仓库并最终访问derby数据库位置。
通过手动调用schematool

您可以使用指向本地POSIX文件系统的site.xml文件，但也可以在HIVE_OPTS环境变量中设置这些选项。我用在blog post

上看到的错误示例进行了介绍。

如何在没有hadoop的情况下使用Hive

6 个答案: