Question

[客户提问]

我在文本文件中有以下数据。由|分隔

A | null , ZZ
C | D

当我使用HDInsight运行此查询时：

CREATE EXTERNAL TABLE myfiledata(
col1 string,
col2 string
)
row format delimited fields terminated by '|' STORED AS TEXTFILE LOCATION 'wasb://.....';

我按预期得到以下结果：

A     null , ZZ
C     D

但是当我使用SQL DW Polybase运行相同的查询时，它会抛出错误：

Query aborted-- the maximum reject threshold (0 rows) was reached while reading from an external source: 1 rows rejected out of total 1 rows processed.

我该如何解决这个问题？这是我在SQL DW中的脚本：

-- Creating external data source (Azure Blob Storage) 
CREATE EXTERNAL DATA SOURCE azure_storage1
WITH
(
    TYPE = HADOOP
,   LOCATION ='wasbs://....blob.core.windows.net'
,   CREDENTIAL = ASBSecret
)
;

-- Creating external file format (delimited text file)
CREATE EXTERNAL FILE FORMAT text_file_format 
WITH 
(   
    FORMAT_TYPE = DELIMITEDTEXT 
,   FORMAT_OPTIONS  (
                        FIELD_TERMINATOR ='|'
                    ,   USE_TYPE_DEFAULT = TRUE
                    )
)
;


-- Creating external table pointing to file stored in Azure Storage
CREATE EXTERNAL TABLE [Myfile] 
(
Col1    varchar(5),
Col2    varchar(5)
)
WITH 
(
    LOCATION    = '/myfile.txt'
,   DATA_SOURCE = azure_storage1
,   FILE_FORMAT = text_file_format      
)
;

Answer 1

我们目前正致力于向用户提出拒绝理由的方法。

与此同时，这里发生了什么：允许失败模式匹配的默认行数为0.这意味着，如果从/myfile.txt加载的至少一个行与模式不匹配。在Hive中，字符串可以容纳任意数量的字符，但varchars不能。在这种情况下，它在varchar（5）上为“null，ZZ”失败，因为它超过5个字符。

如果您想在CREATE EXTERNAL TABLE调用中更改REJECT_VALUE，那么将通过另一行 - 可以在此处找到更多信息：https://msdn.microsoft.com/library/dn935021(v=sql.130).aspx

Polybase - 从外部源读取时达到最大拒绝阈值（0行）：已处理的总共1行中拒绝了1行

1 个答案: