无法在Cloud Run中运行气流获取错误磁盘I / O错误

时间:2020-04-05 08:45:50

标签: google-cloud-platform airflow google-kubernetes-engine google-cloud-run

我正在尝试在Google Cloud Run中运行气流。 发生错误磁盘I / O错误,我猜缺少磁盘写权限。

有人可以帮助我如何在云运行中授予写权限吗? 我还必须写入文件,以后再将其删除。 Error in cloud run logs

2 个答案:

答案 0 :(得分:4)

在Cloud Run中只有目录IEnumerable<int>是可写的。因此,更改默认写入位置以写入该目录。

但是,您必须注意两件事:

  • Cloud Run是无状态的,这意味着在创建新实例时,容器将从头开始,具有空的IEnumerable<char>目录
  • /tmp目录是内存中的文件系统。 Cloud Run上允许的最大内存为2Gb,其中包括您的应用程序内存占用量。除了文件和气流之外,不确定您是否会有很多空间。

最后一句话。 Cloud Run仅在处理请求时才处于活动状态,并且请求的最大超时时间为15分钟。如果没有请求,则允许的cpu接近0%。我不确定您要在Cloud Run上使用Airflow达到什么目的,但是我的感觉告诉我您的设计很奇怪。而且,我更愿意在您为此花费过多精力之前警告您。

答案 1 :(得分:-1)

我的印象是,由于使用SQLite,因此出现写入I / O错误。那有可能吗。

如果您想使用硬币容器运行Airflow,我建议使用Postgres或MySQL作为后端数据库。

您还可以将plugins和dag文件夹安装在某些外部卷中。