标签： apache-spark amazon-s3 amazon-emr databricks
我正在使用基于S3事件的触发器来触发lambda函数。每当在S3的特定位置写入_SUCCESS文件时，它都会触发lambda函数。使用Databricks spark作业将数据写入源位置。已经观察到，一旦作业将数据写入源位置，lambda函数就会被连续触发两次。
仅当Databricks作业写入_SUCCESS时，才会观察到此行为。我试图从CLI写入文件，它仅触发一次lambda函数。
从Databricks作业中了解这种行为的原因将很有帮助。