复制步骤

Question

通过Polybase加载Azure数据仓库，我正在读取Azure Blob上的Parquet文件。

首先，我在SQL中创建了一个外部表以指向Parquet文件，然后使用CTAS进行加载。无论我在SQL中使用哪种数据类型，都会给我这种类型转换错误。我试过DECIMAL，NUMERIC，FLOAT。但是加载VARCHAR可以正常工作。

我怀疑这与使用df.to_parquet和pyarrow从Python Pandas数据帧创建Parquet文件的方式有关。深入研究源代码并进行实验，我发现箭头中的数据类型数据（Parquet之前的步骤）为Double。也许那是为什么？

此外，在创建文件时以及在创建SQL外部表时，我都尝试将Gzip和Snappy用作压缩类型，没有骰子。

为此感到疯狂。有什么想法吗？

复制步骤

环境：

conda create -n testenv python=3.6

conda install -n testenv -c conda-forge pyarrow

conda list -n testenv

# Name                    Version                   Build  Channel
arrow-cpp                 0.13.0           py36hee3af98_1    conda-forge
boost-cpp                 1.68.0            h6a4c333_1000    conda-forge
brotli                    1.0.7             he025d50_1000    conda-forge
ca-certificates           2019.3.9             hecc5488_0    conda-forge
certifi                   2019.3.9                 py36_0    conda-forge
gflags                    2.2.2             he025d50_1001    conda-forge
glog                      0.3.5                h6538335_1
intel-openmp              2019.3                      203
libblas                   3.8.0                     5_mkl    conda-forge
libcblas                  3.8.0                     5_mkl    conda-forge
liblapack                 3.8.0                     5_mkl    conda-forge
libprotobuf               3.7.1                h1a1b453_0    conda-forge
lz4-c                     1.8.1.2              h2fa13f4_0
mkl                       2019.3                      203
numpy                     1.16.2           py36h8078771_1    conda-forge
openssl                   1.1.1b               hfa6e2cd_2    conda-forge
pandas                    0.24.2           py36h6538335_0    conda-forge
parquet-cpp               1.5.1                         2    conda-forge
pip                       19.0.3                   py36_0
pyarrow                   0.13.0           py36h8c67754_0    conda-forge
python                    3.6.8                h9f7ef89_7
python-dateutil           2.8.0                      py_0    conda-forge
pytz                      2019.1                     py_0    conda-forge
re2                       2019.04.01       vc14h6538335_0  [vc14]  conda-forge
setuptools                41.0.0                   py36_0
six                       1.12.0                py36_1000    conda-forge
snappy                    1.1.7             h6538335_1002    conda-forge
sqlite                    3.27.2               he774522_0
thrift-cpp                0.12.0            h59828bf_1002    conda-forge
vc                        14.1                 h0510ff6_4
vs2015_runtime            14.15.26706          h3a45250_0
wheel                     0.33.1                   py36_0
wincertstore              0.2              py36h7fe50ca_0
zlib                      1.2.11            h2fa13f4_1004    conda-forge
zstd                      1.3.3                    vc14_1    conda-forge

Python：

>>> import pandas as pd
>>> df = pd.DataFrame({'ticker':['AAPL','AAPL','AAPL'],'price':[101,102,103]})
>>> df
  ticker  price
0   AAPL    101
1   AAPL    102
2   AAPL    103
>>> df.to_parquet('C:/aapl_test.parquet',engine='pyarrow',compression='snappy',index=False)

Azure步骤：

将Parquet文件上传到Azure Blob
使用Azure数据仓库Gen2，大小：DW400c
分别通过docs和tutorial创建数据库共享凭证，外部数据源和外部文件格式

SQL代码：

CREATE EXTERNAL FILE FORMAT [ParquetFileSnappy] WITH (
    FORMAT_TYPE = PARQUET, 
    DATA_COMPRESSION = N'org.apache.hadoop.io.compress.SnappyCodec'
)
GO

CREATE EXTERNAL DATA SOURCE [AzureBlobStorage] WITH (
    TYPE = HADOOP, 
    LOCATION = N'wasbs://[redacted: containerName]@[redacted: storageAccountName].blob.core.windows.net', 
    CREDENTIAL = [AzureQuantBlobStorageCredential] -- created earlier
)
GO

CREATE EXTERNAL TABLE ext.technicals(
    [ticker] VARCHAR(5) NOT NULL ,
    [close_px] DECIMAL(8,2) NULL
) WITH (
    LOCATION='/aapl_test.parquet', 
    DATA_SOURCE=AzureBlobStorage, 
    FILE_FORMAT=ParquetFileSnappy 
);

CREATE TABLE [dbo].TechnicalFeatures
WITH
( 
    DISTRIBUTION = ROUND_ROBIN,
    CLUSTERED COLUMNSTORE INDEX
)
AS SELECT * FROM [ext].technicals
OPTION (LABEL = 'CTAS : Load [dbo].[TechnicalFeatures]')
;

这是错误：

Msg 106000, Level 16, State 1, Line 20
HdfsBridge::recordReaderFillBuffer - Unexpected error encountered filling record reader buffer: ClassCastException: class java.lang.Long cannot be cast to class parquet.io.api.Binary (java.lang.Long is in module java.base of loader 'bootstrap'; parquet.io.api.Binary is in unnamed module of loader 'app')

编辑： 还尝试使用fastparquet代替pyarrow，同样的错误。

Answer 1

我重复了您的Python文件创建...您欠我一杯因Anaconda安装造成的痛苦的啤酒;）

在使用Parquet工具检查文件时，问题在于您的数据值被写为长整数（101,102,103），但是您试图在“创建外部表”语句中将它们映射为小数。

如果将DECIMAL（8,2）更改为BIGINT，则将加载数据。

或者，通过添加小数点（101.0、102.0、103.0）将数据值写为double，然后通过将DECIMAL（8,2）更改为DOUBLE PRECISION甚至FLOAT来读取它们，因为它们很小且很精确数字在这种情况下。

（只是在开玩笑）

来自Parquet的Polybase错误：无法将Java.lang.Double强制转换为

复制步骤

环境：

Python：

Azure步骤：

SQL代码：

这是错误：

1 个答案: