spark cassandra连接器无法读取hdfs中存在的ssl信任存储文件

时间:2016-08-03 10:01:44

标签: apache-spark spark-cassandra-connector

我正在尝试在Spark和Cassandra之间配置SSL。传递信任存储的本地文件路径,而传递hdfs文件路径不起作用。在Yarn客户端和集群模式下,它都会在文件未找到时抛出错误。

sparkConf.set(" spark.cassandra.connection.ssl.enabled"," true"); sparkConf.set(" spark.cassandra.connection.ssl.trustStore.password"," password"); sparkConf.set(" spark.cassandra.connection.ssl.trustStore.path"," jks file path");

知道为什么会这样吗?相同的文件通过sc.textfile()

工作

例外: 即将保存到Cassandra.16 / 07/22 08:56:55错误org.apache.spark.streaming.scheduler.JobScheduler:运行作业流作业时出错1469177810000 ms.0 java.io.FileNotFoundException:hdfs:/abc/ssl.jks(没有这样的文件或目录) 在java.io.FileInputStream.open0(本机方法)

由于 HEMA

1 个答案:

答案 0 :(得分:1)

发生这种情况是因为对HDFS一无所知的Java驱动程序使用了SSL参数。您需要将每个节点的信任库和密钥库放置在同一位置,并在config parameters中进行指定。

我会将此问题标记给开发人员