管道上传在接收器端失败，并显示错误消息

Question

Pipeline应该将多个表从本地SQL Server复制到ADLS Parquet文件（在每个处理过程中拖放并创建）。接收依赖于自托管的集成运行时。配置过程中的所有测试均成功（即，表结构已成功检索，连接测试均为绿色等）。但是，管道会产生以下执行错误：

Activity Copy_DetailPricingLevelHierarchy failed: Failure happened on 'Sink' side. ErrorCode=UserErrorFailedFileOperation,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Upload file failed at path Intake/MySource\PricingLevelHierarchy.,Source=Microsoft.DataTransfer.Common,''Type=System.InvalidOperationException,Message=Internal connection fatal error. Error state: 18,Source=System.Data,'

我无法理解实际失败的原因。

验证和尝试解决该问题：

• 从ADF验证输入和输出连接（成功）
• 从IR VM进行连接验证（成功）
• 直接使用ADF的服务主体密钥来排除Azure Vault身份验证问题（无更改；连接验证仍然成功）
• 用个人计算机上的自动设置IR替换VM上托管的IR（成功上传）
• 检查出站端口80和443是否在VM上打开（成功）

请告知，还有哪些其他配置可能导致接收器故障。

Answer 1

要在自托管集成运行时中使用Parquet格式，您需要安装Java运行时环境（JRE）。

摘自Parquet格式的有关Azure Data Factory支持的文件格式的Microsoft文档部分：

  

对于由自托管集成运行时授权的副本，例如之间   本地和云数据存储（如果您不复制Parquet）   文件，请安装64位JRE 8（Java运行时   环境）或IR机器上的OpenJDK。

Source link