有没有一个很好的方法将beanstalkd与hadoop集成？

Question

我正在使用beanstalkd从多个前端服务器（php应用程序）收集日志数据，并将数据插入到mysql中。只要数据增长，我就需要选择Hadoop来使用Hive分析BI目的数据。将beanstalkd与hadoop集成的最佳实践是什么？我发现FlumeNG，但它似乎对我的需求太重了。

Answer 1

非常有趣的问题。

Checkout Monolog这是一个关于使用Fluentd处理日志的精彩教程。

您可能需要考虑服务的“三角形”，Monolog附带Laravel，也支持Beanstalkd，您可以通过作曲家Fluentd快速添加。所以你可以有一个Laravel应用程序，在你的管子上有工人，然后转发给Fluentd。 Fluentd有一些很棒的功能，如延迟日志和标签。不确定如何处理延迟日志或日志上的标签，但您可能已经在管消息上有这些日志。

您可以使用Beanstalkd Console查看您的工作并帮助您进行开发。