雪花任务用于历史数据加载，时间限制

Question

我正在尝试从Snowflake中的一个表到另一个表进行完整的历史加载，包括转换。我希望这需要一个多小时。 我想安排此负载并使其在一夜之间运行，这样我就不必保持连接到网络或冒连接问题的风险。

我试图使用计划任务来执行此操作。

问题：有60分钟的限制。您可以将其缩短（STATEMENT_TIMEOUT_IN_SECONDS = 60），但不能使其更长。 https://docs.snowflake.net/manuals/user-guide/tasks-ts.html#task-timed-out-or-exceeded-the-schedule-window

还有其他人对此有建议吗？

Answer 1

这是每个帐户执行任务的一个软限制。您应该可以联系Snowflake支持以扩展此范围。

Answer 2

另一种方法是扩大您的WAREHOUSE，如果您的任务是可并行化的，这很有意义。

Answer 3

是的，您应该向雪花支持小组提出申诉，并要求增加任务限制。请检查完成任务通常需要的时间，并要求设置该时间。该限制将在帐户级别设置。此外，开发人员还在开发将来的功能，可以在任务级别设置超时。