要批处理的AWS Batch日志

Question

我正在使用AWS Batch Service执行我的工作。我想将从AWS Batch生成的日志直接发送到Splunk，而不是将其发送到cloud-watch。如何在AWS Batch中配置日志驱动程序以实现此目的？

-ND

Answer 1

Splunk提供3种方法将日志从主机服务器转发到云服务器。

• Splunk转发器（代理）
• Http事件收集器（HEC）
• 用于Docker的Splunk日志记录驱动程序

但是，在您的方案中，Splunk HTTP事件收集器（HEC）是一种将数据发送到Splunk Enterprise和Splunk Cloud的简便有效的方法。您可以使用HEC通过Http请求发送日志。可以在您的AWS批处理作业定义中定义。 Tutorial。

除此之外，您可以使用Splunk Docker日志记录驱动程序，因为AWS批处理作业将在ECS容器上生成。对于这种方法，您应该定义一个自定义AMI（用于计算环境），该AMI配置了docker守护程序以将所有容器日志发送到特定的Splunk服务器。

Answer 2

AWS Batch logs can be sent to Cloudwatch并使用Splunk Add on for AWS或使用AWS LAMBDA函数之一（HTTP Event Collector），都可以内置到Splunk中。