无法识别的--schema参数sqoop作业

Question

我正在尝试从Powershell运行以下sqoop作业但最终出现错误，说--schema是一个无法识别的参数：

$sqoopDef = New-AzureRmHDInsightSqoopJobDefinition -Command "import --connect $connectionString --target-dir $targetDir --fields-terminated-by \t --lines-terminated-by \n -m $numMappers --table $tableName-- --schema $schema"

如果我尝试从命令行运行相同的作业，它可以正常工作而不会出现任何错误。 --schema论证是不是来自powershell吗？

注意：我在Azure HdInsight上使用Spark 1.6.1 Linux集群。 Sqoop版本是：1.4.6.2.4.2.0-258

谢谢！

Answer 1

我已经设法通过在sqoop命令中使用--options-file参数来实现此问题的解决方法。我已从初始命令中删除了--schema参数，并将其粘贴到选项文件中。

Answer 2

PowerShell只是将命令传递给HDInsight群集。如果群集在群集上直接运行Sqoop作业时支持--schema，那么它在通过PowerShell提交时也应该有效。

问题可能是您有额外的＆＃34; --＆＃34;附加到表名末尾。尝试删除它，看看是否能解决问题。