是否有任何python或scala工具来连接spark / shark

Question

我想使用python或scala连接shark服务器。但我没有找到任何工具来做到这一点。 有没有libs（python或scala / java）。 谢谢高级。

Answer 1

如果你想使用Shark运行SQL查询，Shark的sharkserver就像一个普通的Hive Thrift服务器，所以你应该能够重用现有的Python方法连接到Hive，例如

• Hive queries via Python client
• Access Hive Data Using Python

Shark Server还支持Hive的JDBC interface，因此您可以使用它来运行来自Scala或Java的查询;只需使用Shark Server的地址代替Hive Server地址。

Answer 2

目前尚不清楚 connect 是什么意思，但shark和spark都说scala：

$./bin/shark-shell
scala> val youngUsers = sql2rdd("SELECT * FROM users WHERE age < 20")
scala> println(youngUsers.count)
...
scala> val featureMatrix = youngUsers.map(extractFeatures(_))
scala> kmeans(featureMatrix)

此外，spark也会说python。