在Sqoop中更改事务隔离级别设置行为

Question

我们目前正在尝试使用Sqoop将数据从Hadoop提取到Azure SQL数据仓库，但会收到与事务隔离级别相关的错误。发生的事情是Sqoop在尝试导入/导出时尝试将事务隔离级别设置为READ COMMITTED，而Azure SQL数据仓库当前不支持此功能。我尝试过使用Sqoop的--relaxed-isolation参数，但仍然没有效果。 作为解决方案，我想： 1.更改Sqoop源代码以改变Sqoop的行为以不设置事务级别 2.查找可能允许我以编程方式更改此Sqoop行为的API（如果有）。

有没有人遇到过这种情况？寻找建议解决方案的建议以及如何解决这些问题。

Answer 1

此问题刚刚在Sqoop中得到解决：https://issues.apache.org/jira/browse/SQOOP-2349

否则，@ wBob关于使用Polybase的评论绝对是最佳做法：https://docs.microsoft.com/en-us/azure/data-factory/data-factory-azure-sql-data-warehouse-connector#use-polybase-to-load-data-into-azure-sql-data-warehouse