我正在尝试使用来自HDP 2.4沙箱的Zeppelin但是当我尝试读取像
这样的s3文件时 val data = sc.textFile("s3n://...")
data.take(3)
我收到以下消息的错误：
Class org.apache.hadoop.fs.s3native.NativeS3FileSystem not found
我已将fs.s3n.impl设置为org.apache.hadoop.fs.s3native.NativeS3FileSystem，并且在使用hadoop时，它可以正常工作。
当我使用spark-shell时，我必须通过spark-shell --jars /usr/hdp/2.4.0.0-169/hadoop/*,/usr/hdp/2.4.0.0-169/hadoop/lib/*
我尝试使用%spark zeppelin解释器复制配置，方法是将上述路径添加到spark.jars，但结果是相同的。
可能是什么问题？
我正在使用