雪花外部函数 - 并行/并发

时间:2021-05-06 16:08:53

标签: azure-functions snowflake-cloud-data-platform

我有一个关于雪花外部函数并行性的问题。这是我的理解:

  1. 外部函数将一组要处理的行发送到远程服务(在我的例子中是 azure 函数 httpTrigger)。
  2. 远程服务处理这些行并发送输出 - 每行一个输出。

我的问题是外部函数是否发送多个 httpTrigger 请求,为每个请求异步发送一组行。雪花外部函数请求中是否预建了并发?我知道 Azure 中的并发功能可以扩展。你能指导我吗。

1 个答案:

答案 0 :(得分:1)

来自文档:

<块引用>

此外,并发估计应考虑到 Snowflake 可以并行化外部函数调用。来自单个用户的单个查询可能会导致对远程服务的多个并行调用。有几个因素会影响从 Snowflake 到代理服务或远程服务的并发调用数,包括:

https://docs.snowflake.com/en/sql-reference/external-functions-implementation.html#concurrency