Question

我正在使用Windows Azure HDInsights Hadoop集群，我正在尝试将hive表从那里导出到SQL Azure服务器。

hive表非常简单（实际上，它现在由一个列数据组成，没有任何空格字符和其他特殊符号）。在服务器端，它也是一个包含以下模式的表：

CREATE TABLE exp (line [nvarchar] (100))

对于导出，我使用以下PS脚本：

$tableName = 'exp'

$connectionString = "jdbc:sqlserver://$sqlDatabaseServerName.database.windows.net;user=$sqlDatabaseLogin@$sqlDatabaseServerName;password=$sqlDatabasePassword;database=$databaseName"

$exportDir = "wasb://test1@mystorage.blob.core.windows.net/"

$sqoopDef = New-AzureHDInsightSqoopJobDefinition -Command "export --connect $connectionString --table $tableName --export-dir $exportDir --fields-terminated-by '\t' --lines-terminated-by '\n'"

$sqoopJob = Start-AzureHDInsightJob -Cluster $clusterName -JobDefinition $sqoopDef -Debug -Verbose
Wait-AzureHDInsightJob -WaitTimeoutInSeconds 3600 -Job $sqoopJob

Write-Host "Standard Error" -BackgroundColor Green
Get-AzureHDInsightJobOutput -Cluster $clusterName -JobId $sqoopJob.JobId -StandardError
Write-Host "Standard Output" -BackgroundColor Green
Get-AzureHDInsightJobOutput -Cluster $clusterName ;-JobId $sqoopJob.JobId -StandardOutput

出于某些原因，导出在100％映射后停滞并在超时后结束，没有任何错误和异常。

现在我知道该作业会看到Hadoop中的数据（如果我指定其他路径，它会抛出异常）。如果hive数据模式和sql表模式不匹配，我也有异常。从SQL方面我看到成功连接的证据。

是的，我已经配置了SQL服务器防火墙以允许连接，并且也允许使用Windows Azure服务。

有人建议下一步做什么吗？非常感谢任何帮助。

Answer 1

到目前为止，通过为SQL表创建聚簇索引解决了一个问题：

create clustered index exp_clustered_index on exp(line);

似乎Azure SQL禁止在没有它的情况下上传数据。

从hive到sql的Sqoop导出被卡住了

1 个答案: