Pyspark-如何通过使用Rest API将结果数据写入服务

Question

我有一个Rest端点，可以接受发布json数据。我想将工作结果写入该服务。通常，我通过DataFrameWriter将结果数据写入S3：

$path = $request->file( 'userfile' )->store( 'logos', 'public' );

$data = [ 'image_path'=>"storage/{$path}" ];
$model->update( $data );

我想知道是否可以将所有数据发布到REST API中。

我假设我可以使用forEachPartition进行某些操作，但是我的数据由数十亿行组成。太慢了：

df.write.mode("overwrite").parquet(output_dir)