HDFS接收器连接器:无方案的文件系统:http

时间:2018-07-02 20:17:22

标签: apache-kafka hdfs apache-kafka-connect confluent

我正在使用confluent的文档,但是当我添加hdfs-sink连接器时,出现此错误:

Caused by: java.io.IOException: No FileSystem for scheme: http

有人可以帮助我吗?

1 个答案:

答案 0 :(得分:0)

HDFS Sink连接不适用于HTTP网址(例如HttpF)。

您需要提供受支持的Hadoop Compatible FileSystem,例如

  • hdfs://
  • 文件:// (将在分布式模式下写入各个Connect Worker上的本地磁盘,仅在独立模式下效果最佳)
  • s3a:// (假设CLASSPATH上的hadoop-aws)
  • wasb:// (假设在CLASSPATH上使用hadoop-azure)