是否可以在Eclipse IDE中运行Spark上的hive?

时间:2017-02-23 03:04:46

标签: scala hadoop apache-spark hive

我一直在尝试使用Apache Spark Framework开发Spark程序 我希望在没有任何集群的情况下实例化HiveContext 是否可以使用HiveContext并通过Eclipse Scala IDE在本地运行它而不使用任何集群?

1 个答案:

答案 0 :(得分:0)

简直有可能吗?当然......(重点补充)

  

要使用HiveContext,您无需拥有现有的Hive设置SQLContext可用的所有数据源仍然可用。

但是,您需要编译一些额外的代码。

  

HiveContext仅单独打包,以避免在默认的Spark构建中包含所有Hive的依赖项。如果这些依赖项对您的应用程序来说不是问题,那么建议使用HiveContext

但是,如果您只是在没有任何集群的情况下编写Spark,那么没有任何东西可以阻止您使用Spark 1.x,而应该使用具有SparkSession作为SQL的入口点的Spark 2.x相关的事情。

Eclipse IDE不重要。你也可以使用IntelliJ ...或者没有IDE和spark-submit任何包含一些Spark代码的JAR文件......