Question

我在S3中有实木复合地板文件，我想在该文件上创建胶水表。我正在使用boto3 python API来这样做。这是代码：

import boto3

c = boto3.client('glue')

c.create_table(DatabaseName='staging', 
               TableInput={
                           'Name': 'test_table', 
                           'StorageDescriptor': {
                               'Location': 's3://staging/tables/test_table/version=2020-03-26',             
                           'OutputFormat':'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat', 
                           'InputFormat': 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'},
                           'PartitionKeys': [{'Name': 'country'}, {'Name': 'city'}], 
                           'TableType': 'EXTERNAL_TABLE'})

如果我们查看“位置”字段，则可以看到数据的网址。在文件夹version = 2020-03-26中，我们有一个类似“ country = country name”的文件夹，并且在每个文件夹中，我们都有一个其他文件夹（例如“ city = city name”）来计算镶木地板文件。

此代码的执行返回：

{'ResponseMetadata': {'HTTPHeaders': {'connection': 'keep-alive',
   'content-length': '2',
   'content-type': 'application/x-amz-json-1.1',
   'date': 'Mon, 06 Apr 2020 08:46:58 GMT',
   'x-amzn-requestid': 'ca5e4af0-a2ec-4af0-a2ec-18c308132e21'},
  'HTTPStatusCode': 200,
  'RequestId': 'ca5e4af0-a10d-a2ec-a13d-453dfsdfsds',
  'RetryAttempts': 0}}

我可以看到胶水上的表格，但是当我尝试在Athena上查询表格时，出现错误：

描述格式化的test_table

Your query has the following error(s):

FAILED: SemanticException Unable to fetch table test_table. Unable to get table: java.lang.NullPointerException

我在做什么错？同样，我只是检查了粘合，即使创建了表的条目，我也没有从界面返回任何信息。

Answer 1

使用boto3直接使用Glue API有时过于冗长，缺少一个或两个参数可能会导致严重错误。在讨论API详细信息之前，建议您看一下AWS Wrangler。

使用几条命令，您可以将数据读入Pandas数据框，然后创建具有首选结构的表：

import awswrangler as wr

df = wr.pandas.read_parquet(path='s3://staging/tables/test_table/version=2020-03-26', 
                            columns=['country', 'city', ...], filters=[("c5", "=", 0)])

# Typical Pandas, Numpy or Pyarrow transformation HERE!

wr.pandas.to_parquet(  # Storing the data and metadata to Data Lake
    dataframe=df,
    database='my_database',
    path='s3://production/tables/test_table/version=2020-03-26',
    partition_cols=['country', 'city'],
)

如果您使用的是PySpark，并且想在Glue中注册数据帧：

import awswrangler as wr

dataframe.write \
        .mode("overwrite") \
        .format("parquet") \
        .partitionBy(["country", "city"]) \
        .save(compression="gzip", path="s3://production/tables/test_table/version=2020-03-26.")
sess = wr.Session(spark_session=spark)
sess.spark.create_glue_table(
    dataframe=dataframe,
    file_format="parquet",
    partition_by=["country", "city"],
    path="s3://production/tables/test_table/version=2020-03-26",
    compression="gzip",
    database="my_database")

在胶水中现有的实木复合地板文件上创建表

1 个答案: