我一直在尝试使用Apache Spark Framework开发Spark程序
我希望在没有任何集群的情况下实例化HiveContext
是否可以使用HiveContext
并通过Eclipse Scala IDE在本地运行它而不使用任何集群?
答案 0 :(得分:0)
简直有可能吗?当然......(重点补充)
要使用
HiveContext
,,您无需拥有现有的Hive设置,SQLContext
可用的所有数据源仍然可用。
但是,您需要编译一些额外的代码。
HiveContext
仅单独打包,以避免在默认的Spark构建中包含所有Hive的依赖项。如果这些依赖项对您的应用程序来说不是问题,那么建议使用HiveContext
但是,如果您只是在没有任何集群的情况下编写Spark,那么没有任何东西可以阻止您使用Spark 1.x,而应该使用具有SparkSession
作为SQL的入口点的Spark 2.x相关的事情。
Eclipse IDE不重要。你也可以使用IntelliJ ...或者没有IDE和spark-submit
任何包含一些Spark代码的JAR文件......