Apache Superset - 仪表板切片的并发加载(Athena)

时间:2018-06-05 12:54:30

标签: gunicorn gevent amazon-athena apache-superset

我有一个设置了几个切片的仪表板。切片一个接一个地加载,而不是同时加载。这会导致糟糕的用户体验。我的数据位于S3,我使用Athena连接器进行查询。我可以看到对Athena的调用按顺序被触发,每个查询在运行之前等待它之前完成的调用。

我正在使用gevent,这是我能说的不应该是一个问题吗?

以下是我的Superset配置摘录:

SUPERSET_WORKERS = 8
WEBSERVER_THREADS = 8

它曾经分别设置为2和1,但我把它分别增加到8,看看是否可能是问题。我虽然得到了相同的结果。

这是一个简单的错误配置问题还是我错过了什么?

1 个答案:

答案 0 :(得分:0)

在增加function my_acf_save_post( $post_id ) { // get values $fmp = get_field('full_market_price'); $saPercent = get_field('example_price'); // do something $examplePrice = ($fmp / 100) * $saPercent; update_field('calculated_price', $examplePrice, $post_id); } add_action('acf/save_post', 'my_acf_save_post', 20); 的工作程序和线程之前,了解多处理和多线程非常重要。如果您正在查看gunicorn,则可能需要多个进程,而您可能想要用于CPU intense operations操作的多个线程。

有了您的问题,您不需要很多过程;但在一个进程中进行线程化。使用该配置,下一步将是调试如何生成greenlet。 (事件有助于I/O intensive。并发!==并行处理)。

要使用多个线程引导concurrency,您可以执行以下操作:

gunicorn

请发布更多代码,以方便有针对性的帮助。