如何通过Spark HiveContext并行运行多个sql?

时间:2018-03-31 09:34:09

标签: apache-spark hive

环境:
  - Spark 1.5.1
  - Hive 1.2.1
  - Hadoop Yarn 2.7.2

在我的代码中,我创建了一个HiveContext来运行mysql,它将数据从RDD插入到hive表中。

为了获得更好的性能,我使用相同的HiveContext在不同的线程中运行多个sql。但是通过jstack输出,我发现大多数线程在HiveContext处被阻止,并且只有少数线程正在运行。所以我尝试在线程中创建单独的HiveContext,但不幸的是我遇到了错误。谷歌之后,我了解到一个JVM只能拥有一个HiveContext。

我被困在那里。希望有人能提出一些建议吗?

0 个答案:

没有答案