结构化流 - Foreach接收器

时间:2017-05-26 03:31:43

标签: scala apache-spark apache-kafka spark-structured-streaming

我基本上是从Kafka源代码中读取,并将每条消息转发到我的location ~ ^(/branches/[^/]+/app/api)/ { try_files $uri $uri/ $1/api.php$is_args$args; } 处理器(感谢Jacek的页面中的简单示例)。

如果这确实有效,我将在foreach方法中实际执行一些业务逻辑,但是,这不起作用。我相信process因为它在执行程序上运行而无效,并且无法将这些日志恢复到驱动程序。但是,这个println临时表至少应该起作用,并告诉我消息实际上被消耗并处理到接收器。

我在这里缺少什么?

真的在寻找第二组眼睛来检查我的努力:

insert into

1 个答案:

答案 0 :(得分:2)

感谢Harald和其他人的评论,我发现了一些事情,这使我实现了正常的处理行为 -

  1. 使用本地模式测试代码,纱线不是调试的最大帮助
  2. 由于某种原因,foreach sink的处理方法不允许调用其他方法。当我将我的业务逻辑直接放在那里时,它就可以工作。
  3. 希望它能帮助别人。