我已使用以下命令成功安装了所需的软件包
spark-shell --packages net.snowflake:spark-snowflake_2.12:2.5.1-spark_2.4
环境和Spark / Scala / java详细信息: 操作系统:Ubuntu 14.04
Spark版本3.0.0
使用Scala 2.12.10版本(Java HotSpot(TM)64位服务器VM,Java 1.8.0_261)
我的目标是使用Spark Shell读取/查看SnowFlake Table CUSTOMER中的客户ID数据。
下面是我使用的命令[在发布此问题期间,从下面的命令中删除了URL,用户名和密码详细信息
观察:它只是挂起而不显示任何输出(我必须强制退出)
spark.read.format("net.snowflake.spark.snowflake").options(dict(sfUrl="https://<URL>", sfUser="<UserName>",sfPassword="<Password>",sfDatabase="SNOWFLAKE_SAMPLE_DATA",sfSchema="TPCDS_SF10TCL").option("query", "select top 10 C_CUSTOMER_ID from CUSTOMER").show()
最早针对上述问题寻求帮助/指针。
感谢和问候, 拉文德拉