Question

我正在尝试使用CLOUD DATA FUSION创建从“ SQL SERVER（来自GCP VM）”到“ BigQuery”的数据管道；我已完成以下所有设置配置，

在Cloud数据融合中创建了新实例。
将此添加为IAM＆Admin中的服务帐户。
在SQL Server插件中安装了JDBC驱动程序
使用该SQL Server插件创建争用程序并从SQL Server读取数据（在此步骤中，我可以成功验证我的SQL Server，并且可以在其中看到我的SQL表数据）
我通过添加Bigquery作为接收器来完成pipleine配置。

然后，我尝试运行管道，最终结果出错了；我尝试了很少的Google搜索，但没有得到答案。

我能够在“ GCS To BigQuery”之间创建数据融合管道，并且运行良好。但是此“ SQL服务器到大查询”管道显示一些错误。

有人可以帮我吗？

这是错误详细信息，

2020-01-10 13：00：47,528-警告[Thread-95：o.a.h.m.LocalJobRunner@589]-job_local976595976_0001 java.lang.Exception：java.lang.NullPointerException 在org.apache.hadoop.mapred.LocalJobRunner $ Job.runTasks（LocalJobRunner.java:491）〜[hadoop-mapreduce-client-common-2.9.2.jar：na] 在org.apache.hadoop.mapred.LocalJobRunner $ Job.run（LocalJobRunner.java:551）〜[hadoop-mapreduce-client-common-2.9.2.jar：na] java.lang.NullPointerException：空在org.apache.hadoop.mapreduce.lib.db.DataDrivenDBInputFormat.createDBRecordReader（DataDrivenDBInputFormat.java:281）〜[hadoop-mapreduce-client-core-2.9.2..2.jar：na] 在io.cdap.plugin.db.batch.source.DataDrivenETLDBInputFormat.createDBRecordReader（DataDrivenETLDBInputFormat.java:124）〜[1578661227434-0 /：na] org.apache.hadoop.mapreduce.lib.db.DBInputFormat.createRecordReader（DBInputFormat.java:245）〜[hadoop-mapreduce-client-core-2.9.2.jar：na] 在io.cdap.cdap.etl.batch.preview.LimitingInputFormat.createRecordReader（LimitingInputFormat.java:51）〜[cdap-etl-core-6.1.0.jar：na] 在io.cdap.cdap.internal.app.runtime.batch.dataset.input.MultiInputFormat.createRecordReader（MultiInputFormat.java:92）〜[na：na] 在org.apache.hadoop.mapred.MapTask $ NewTrackingRecordReader中。（MapTask.java:521）〜[hadoop-mapreduce-client-core-2.9.2.jar：na] 在org.apache.hadoop.mapred.MapTask.runNewMapper（MapTask.java:764）〜[hadoop-mapreduce-client-core-2.9.2.jar：na] 在org.apache.hadoop.mapred.MapTask.run（MapTask.java:341）〜[hadoop-mapreduce-client-core-2.9.2.jar：na] 在org.apache.hadoop.mapred.LocalJobRunner $ Job $ MapTaskRunnable.run（LocalJobRunner.java:270）〜[hadoop-mapreduce-client-common-2.9.2.jar：na] 在java.util.concurrent.Executors $ RunnableAdapter.call（Executors.java:511）〜[na：1.8.0_232] 在java.util.concurrent.FutureTask.run（FutureTask.java:266）〜[na：1.8.0_232] 在java.util.concurrent.ThreadPoolExecutor.runWorker（ThreadPoolExecutor.java:1149）〜[na：1.8.0_232] 在java.util.concurrent.ThreadPoolExecutor $ Worker.run（ThreadPoolExecutor.java:624）〜[na：1.8.0_232] 在java.lang.Thread.run（Thread.java:748）〜[na：1.8.0_232] 2020-01-10 13：00：50,841-错误[MapReduceRunner-phase-1：i.c.c.i.a.r.ProgramControllerServiceAdapter@97]-MapReduce程序“ phase-1”失败。 java.lang.IllegalStateException：MapReduce JobId job_local976595976_0001失败在com.google.common.base.Preconditions.checkState（Preconditions.java:176）〜[com.google.guava.guava-13.0.1.jar：na] 在io.cdap.cdap.internal.app.runtime.batch.MapReduceRuntimeService.run（MapReduceRuntimeService.java:416）〜[na：na] com.google.common.util.concurrent.AbstractExecutionThreadService $ 1 $ 1.run（AbstractExecutionThreadService.java:52）〜[com.google.guava.guava-13.0.1.jar：na] 在io.cdap.cdap.internal.app.runtime.batch.MapReduceRuntimeService $ 2 $ 1.run（MapReduceRuntimeService.java:450）[na：na] 在java.lang.Thread.run（Thread.java:748）[na：1.8.0_232] 2020-01-10 13：00：50,842-错误[MapReduceRunner-phase-1：i.c.c.i.a.r.ProgramControllerServiceAdapter@98]-MapReduce程序“ phase-1”失败，并显示错误：MapReduce JobId job_local976595976_0001失败。请检查系统日志以获取更多详细信息。 java.lang.IllegalStateException：MapReduce JobId job_local976595976_0001失败在com.google.common.base.Preconditions.checkState（Preconditions.java:176）〜[com.google.guava.guava-13.0.1.jar：na] 在io.cdap.cdap.internal.app.runtime.batch.MapReduceRuntimeService.run（MapReduceRuntimeService.java:416）〜[na：na] com.google.common.util.concurrent.AbstractExecutionThreadService $ 1 $ 1.run（AbstractExecutionThreadService.java:52）〜[com.google.guava.guava-13.0.1.jar：na] 在io.cdap.cdap.internal.app.runtime.batch.MapReduceRuntimeService $ 2 $ 1.run（MapReduceRuntimeService.java:450）[na：na] 在java.lang.Thread.run（Thread.java:748）[na：1.8.0_232] 2020-01-10 13：00：50,916-错误[WorkflowDriver：i.c.c.d.SmartWorkflow@552]-管道'0f084034-33a9-11ea-95f6-8e2648ebe039'失败。 2020-01-10 13：00：51,225-错误[WorkflowDriver：icciarwWorkflowProgramController @ 89]-工作流服务'workflow.default.0f084034-33a9-11ea-95f6-8e2648ebe039.DataPipelineWorkflow.20288f05-33a9-11ea-a505 -8e2648ebe039'失败。 java.lang.IllegalStateException：MapReduce JobId job_local976595976_0001失败在com.google.common.base.Preconditions.checkState（Preconditions.java:176）〜[com.google.guava.guava-13.0.1.jar：na] 在io.cdap.cdap.internal.app.runtime.batch.MapReduceRuntimeService.run（MapReduceRuntimeService.java:416）〜[na：na] com.google.common.util.concurrent.AbstractExecutionThreadService $ 1 $ 1.run（AbstractExecutionThreadService.java:52）〜[com.google.guava.guava-13.0.1.jar：na] 在io.cdap.cdap.internal.app.runtime.batch.MapReduceRuntimeService $ 2 $ 1.run（MapReduceRuntimeService.java:450）〜[na：na] 在java.lang.Thread.run（Thread.java:748）[na：1.8.0_232]

Answer 1

根据报告的问题记录，您一直存在 java.lang.nullpointerexception 错误，该错误可能反映了在应用程序运行路径中需要对象时使用null的情况。

假设您已经成功配置了JDBC driver，我建议您检查整个管道中的源数据库属性，以确定未定义的字段，据推测可以是 Import Query < / em> 属性字段，该字段用于通过向SELECT查询提供适当的$CONDITIONS来从指定的表中导入数据，如果要生成的拆分数大于1：

SELECT * FROM <table> WHERE $CONDITIONS

Answer 2

更新： https://issues.cask.co/browse/CDAP-16453 这是一个已知问题，已在6.1.2中修复

“ MySQL 5.x上的相同错误奇怪的是，如果您部署管道并运行它就可以了... 我正在考虑将管道解耦以使小型sql-to-storage和大型管道在传出流中“

致谢维吉里奥

使用云数据融合创建从SQL Server到BigQuery的数据管道的问题

2 个答案: