当前正在开发一个应用程序,该应用程序从纯文本文件(教科书)中提取数据并计算tf-idf值,并使用spark mllib将其存储在配置单元表中。我需要使用关键词搜索语料库,以像休息服务一样找到书名。是否有任何REST服务可用于将spark sql用作在其上运行查询的服务?还是可以使用Livy完成上述要求?提前致谢。
答案 0 :(得分:0)
可以使用livy,但是如果您只想在配置单元表上执行sql查询,则使用spark thrift服务器会简单得多。
spark thrift服务器是一个jdbc服务器,可让您连接任何jdbc客户端并运行sql查询。
您可以在此处找到更多信息:
https://spark.apache.org/docs/2.2.0/sql-programming-guide.html#running-the-thrift-jdbcodbc-server
https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-thrift-server.html