Airflow创建了太多连接并导致MySQL RDS服务器崩溃
我正在使用Airflow连接从RDS SQL实例中提取和处理数据。问题是该进程生成了超过21个连接（虽然我的并发在cfg文件中设置为4）并且RAM正在重载。根据我如何设置过程，我不希望一次有超过6到8个连接。是否有一个好的cfg文件设置或管理面板选项，可以让我控制这种行为？我尝试过更新sql_alchemy_pool_recycle，但这并没有解决问题。
随着连接数量的增加以及RDS实例上的RAM饱和，您可以看到系统性能在gant图表上开始减少的位置：
1 个答案:
答案 0 :(得分：0)
在气流中，您可以通过POOL限制重度并发内容，您可以设置池大小，操作员不会超出池大小。 https://airflow.incubator.apache.org/concepts.html#pools
相关问题
最新问题
- 我写了这段代码，但我无法理解我的错误
- 我无法从一个代码实例的列表中删除 None 值，但我可以在另一个实例中。为什么它适用于一个细分市场而不适用于另一个细分市场？
- 是否有可能使 loadstring 不可能等于打印？卢阿
- java中的random.expovariate()
- Appscript 通过会议在 Google 日历中发送电子邮件和创建活动
- 为什么我的 Onclick 箭头功能在 React 中不起作用？
- 在此代码中是否有使用“this”的替代方法？
- 在 SQL Server 和 PostgreSQL 上查询，我如何从第一个表获得第二个表的可视化
- 每千个数字得到
- 更新了城市边界 KML 文件的来源？