Question

我需要将许多文件上传到S3，按顺序完成该作业需要数小时。这正是Kotlin的新协程所擅长的，所以我想给他们第一次尝试而不是再次使用一些基于线程的执行服务。

这是我的（简化）代码：

fun upload(superTiles: Map<Int, Map<Int, SuperTile>>) = runBlocking {
    val s3 = AmazonS3ClientBuilder.standard().withRegion("eu-west-1").build()
    for ((x, ys) in superTiles) {
        val jobs = mutableListOf<Deferred<Any>>()
        for ((y, superTile) in ys) {
            val job = async(CommonPool) {
                uploadTile(s3, x, y, superTile)
            }
            jobs.add(job)
        }
        jobs.map { it.await() }
    }
}

suspend fun uploadTile(s3: AmazonS3, x: Int, y: Int, superTile: SuperTile) {
    val json: String = "{}"
    val key = "$s3Prefix/x4/$z/$x/$y.json"
    s3.putObject(PutObjectRequest("my_bucket", ByteArrayInputStream(json.toByteArray()), metadata))
}

问题：代码仍然很慢，并且日志记录显示请求仍然按顺序执行：作业在创建下一个作业之前完成。只有极少数情况下（10个中有1个）我看到同时运行的工作。

为什么代码运行速度不快/同时？我该怎么办呢？

Answer 1

当您使用异步 API时，Kotlin协同程序表现出色，而您使用的AmazonS3.putObject API是一个老派阻塞的同步API，因此您只能获得尽可能多的并发上传您正在使用的CommonPool中的线程数。将uploadTile函数标记为suspend进行修改没有任何价值，因为它不会在其正文中使用任何暂停函数。

在上传任务中获得更多吞吐量的第一步是开始使用异步API。我建议你查看那个钱包Amazon S3 TransferManager。看看是否能首先解决您的问题。

Kotlin协同程序旨在帮助您将异步API组合成易于使用的逻辑工作流程。例如，通过编写以下扩展函数，可以直接调整TransferManager的异步API以与协同程序一起使用：

suspend fun Upload.await(): UploadResult = suspendCancellableCoroutine { cont ->
    addProgressListener {
        if (isDone) {
            // we know it should not actually wait when done
            try { cont.resume(waitForUploadResult()) }
            catch (e: Throwable) { cont.resumeWithException(e) }
        }
    }
    cont.invokeOnCompletion { abort() }
}

此扩展程序可让您编写适用于TransferManager的非常流畅的代码，并且您可以重写uploadTile函数以使用TransferManager，而不是使用阻止AmazonS3接口：

suspend fun uploadTile(tm: TransferManager, x: Int, y: Int, superTile: SuperTile) {
    val json: String = "{}"
    val key = "$s3Prefix/x4/$z/$x/$y.json"
    tm.upload(PutObjectRequest("my_bucket", ByteArrayInputStream(json.toByteArray()), metadata))
        .await()
}

请注意，此新版uploadTile如何使用上面定义的暂停函数await。

通过Kotlin Coroutines同步S3文件上传

1 个答案: