在我目前的项目中,我要求将批量sql查询作为来自客户端的adhoc请求运行。数据库是sql server。以下是一些示例用例
用例1.从表A(100万条记录)中选择并加入表B(200万条)并插入表C
用例2.更新表A(3000万条记录)将所有日期设置为日期 - x。
目前所有这些请求都是通过使用开发人员框中的sql server客户端进行连接来完成的,但这并不是一个好方法,因为没有日志记录,如果互联网出现故障,查询就会断开连接等等。
我想有一个工具可以让我上传这些查询并在运行中运行它们。这样我就可以在prod中部署它,然后使用这个工具/框架运行这些查询。期待以下功能。
我看了一眼flink,spring datacloud,flink。我想看看是否有更好的框架来完成这项工作。