我正在尝试将我的spark流式上下文检查到hdfs，以便在我的应用程序的某个时刻处理失败。我将HDFS设置放在一个单独的群集上，并在单独的独立服务器上运行spark。要做到这一点，我正在使用：
ssc.checkpoint(directory: String)
当我尝试将目录作为org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE
"hdfs://hostname:port/pathToFolder"
如何检查远程hdfs路径？是否可以向字符串uri添加凭据？我试过谷歌搜索，但到目前为止没有任何帮助。
感谢并感谢任何帮助！
答案 0 :(得分：0)
您可以使用以下方式提供凭据：
hdfs://username:password@hostname:port/pathToFolder