如何将火花写入foreachrdd的多个源

时间:2017-04-14 11:37:56

标签: hbase apache-kafka spark-streaming

我制作了一个从kafka源读取的火花流程序。经过一些转换后,我需要将数据发送给两个kafka生产者和hbase。

我通过spark streaming收到这些数据:

class DeepthroatException : public std::runtime_error {
  public:
  DeepthroatException(const char* err); // set err member to err

  private:
  // Error description
  const char* err;
};

我想进行一些转换并将其发送给2个kafka制作人,并将副本保存到hbase中。

我在这里找到了一些例子,谈论向kafka制作人发送数据并保存到hbase,但我的问题是我没有sbt或maven而且我使用了spark shell(spark 1.3)。我发现导入罐子有很多问题。

我已经从kafka读取并将其保存到hdfs。任何人都可以帮我完成这项任务吗?

0 个答案:

没有答案