如何在spark

时间:2016-04-14 20:40:00

标签: sql-server azure jdbc apache-spark

我有一个spark azure hd insight群集,我想将sparksql连接到另一个sql server盒子。

我可以用FREETDS和pymssql连接它,但据我所知我应该通过jdbc驱动程序将它连接到spark sql

这是根据Spark中的文档

http://spark.apache.org/docs/latest/sql-programming-guide.html#jdbc-to-other-databases

现在我的主目录中有Jar 如果我想使用这个Jar,它会在文件中说明

SPARK_CLASSPATH=postgresql-9.3-1102-jdbc41.jar bin/spark-shell
我用作

SPARK_CLASSPATH=./sqljdbc_4.2/enu/sqljdbc42.jar ./bin/spark-shell

但它显示

-bash: ./bin/spark-shell: No such file or directory

但是如果这是一个火花集群,如果我输入spark-shell,我总是得到shell。 请协助

1 个答案:

答案 0 :(得分:0)

试试这个:

bin/spark-shell --driver-class-path /home/XXX/sqljdbc42.jar