我制作了一个从kafka源读取的火花流程序。经过一些转换后,我需要将数据发送给两个kafka生产者和hbase。
我通过spark streaming收到这些数据:
class DeepthroatException : public std::runtime_error {
public:
DeepthroatException(const char* err); // set err member to err
private:
// Error description
const char* err;
};
我想进行一些转换并将其发送给2个kafka制作人,并将副本保存到hbase中。
我在这里找到了一些例子,谈论向kafka制作人发送数据并保存到hbase,但我的问题是我没有sbt或maven而且我使用了spark shell(spark 1.3)。我发现导入罐子有很多问题。
我已经从kafka读取并将其保存到hdfs。任何人都可以帮我完成这项任务吗?