致电Databricks工作/笔记本并获得结果

时间:2019-12-13 15:15:54

标签: azure-databricks

在我当前的项目中,我们有一个Web API,该API创建一个sql字符串,并将其传递给azure函数,该函数在databricks中执行sql(对此功能了解不多,仅是它使用java / scala)。 / p>

由于逻辑复杂,对于Web api收到的所有请求,有2个查询被发送到databricks。第一个是获取计数,第二个是数据(在api上,我们基本上根据计数在sql上定义了一些下采样)。

我的问题是,这是不可避免的吗?查看databricks rest api,我们可以执行作业并获得其结果。问题在于:

  • 结果最多只能处理5MB(将完整结果放入Blob中是可能的)
  • 您一次只能运行一个作业实例。对我来说这不好,因为我可以同时有多个请求。

还有其他可能性吗? java / scala函数可以在这里做什么吗?

0 个答案:

没有答案