使用密码文件的Hadoop凭据

Question

我正在经历Hadoop证书的捐赠 https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/CredentialProviderAPI.html

但是在使用第三个选项为keystone使用密码文件提供密码时，我每次都会失败。下面提供了所用命令的摘录。任何人都可以告诉我错误是什么以及如何纠正这一点。

hadoop凭证-Dhadoop.security.credstore.java-keystore-provider.password-file = / home / dir / test.txt create mssql2.password -value'TomePassword'-provider localjceks：// file / home / dir /aws3.jceks

错误提供如下：

java.io.IOException：密码文件不存在     在org.apache.hadoop.security.ProviderUtils.locatePassword（ProviderUtils.java:135）     在org.apache.hadoop.security.alias.AbstractJavaKeyStoreProvider.locateKeystore（AbstractJavaKeyStoreProvider.java:323）     在org.apache.hadoop.security.alias.AbstractJavaKeyStoreProvider。（AbstractJavaKeyStoreProvider.java:86）     在org.apache.hadoop.security.alias.LocalJavaKeyStoreProvider。（LocalJavaKeyStoreProvider.java:58）     在org.apache.hadoop.security.alias.LocalJavaKeyStoreProvider。（LocalJavaKeyStoreProvider.java:50）     at org.apache.hadoop.security.alias.LocalJavaKeyStoreProvider $ Factory.createProvider（LocalJavaKeyStoreProvider.java:177）     在org.apache.hadoop.security.alias.CredentialProviderFactory.getProviders（CredentialProviderFactory.java:58）     在org.apache.hadoop.security.alias.CredentialShell $ Command.getCredentialProvider（CredentialShell.java:181）     at org.apache.hadoop.security.alias.CredentialShell $ CreateCommand.validate（CredentialShell.java:345）     在org.apache.hadoop.security.alias.CredentialShell.run（CredentialShell.java:81）     在org.apache.hadoop.util.ToolRunner.run（ToolRunner.java:70）     在org.apache.hadoop.security.alias.CredentialShell.main（CredentialShell.java:460）

Answer 1

问题是，此属性期望文件名而不是文件路径，然后Hadoop api将在Hadoop类路径上搜索该名称。由于此文件包含明文，因此另一种方法是
Caused by: org.apache.kafka.streams.errors.StreamsException: A serializer (key: org.apache.kafka.common.serialization.StringSerializer / value: org.apache.kafka.common.serialization.StringSerializer) is not compatible to the actual key or value type (key type: java.lang.String / value type: com.MyObject). Change the default Serdes in StreamConfig or provide correct Serdes via method parameters. at org.apache.kafka.streams.processor.internals.SinkNode.process(SinkNode.java:94)