环境:
- Spark 1.5.1
- Hive 1.2.1
- Hadoop Yarn 2.7.2
在我的代码中,我创建了一个HiveContext
来运行mysql,它将数据从RDD插入到hive表中。
为了获得更好的性能,我使用相同的HiveContext
在不同的线程中运行多个sql。但是通过jstack输出,我发现大多数线程在HiveContext
处被阻止,并且只有少数线程正在运行。所以我尝试在线程中创建单独的HiveContext
,但不幸的是我遇到了错误。谷歌之后,我了解到一个JVM只能拥有一个HiveContext。
我被困在那里。希望有人能提出一些建议吗?