我正在尝试在Spark和Cassandra之间配置SSL。传递信任存储的本地文件路径,而传递hdfs文件路径不起作用。在Yarn客户端和集群模式下,它都会在文件未找到时抛出错误。
sparkConf.set(" spark.cassandra.connection.ssl.enabled"," true"); sparkConf.set(" spark.cassandra.connection.ssl.trustStore.password"," password"); sparkConf.set(" spark.cassandra.connection.ssl.trustStore.path"," jks file path");
知道为什么会这样吗?相同的文件通过sc.textfile()
工作例外: 即将保存到Cassandra.16 / 07/22 08:56:55错误org.apache.spark.streaming.scheduler.JobScheduler:运行作业流作业时出错1469177810000 ms.0 java.io.FileNotFoundException:hdfs:/abc/ssl.jks(没有这样的文件或目录) 在java.io.FileInputStream.open0(本机方法)
由于 HEMA
答案 0 :(得分:1)
发生这种情况是因为对HDFS一无所知的Java驱动程序使用了SSL参数。您需要将每个节点的信任库和密钥库放置在同一位置,并在config parameters中进行指定。
我会将此问题标记给开发人员