读取Azure Data Lake Store中的文件的元数据

时间:2018-05-03 02:07:07

标签: c# azure-data-lake u-sql

需要阅读存储在Azure Data Lake Store中的文件的META DATA。

文件的格式可以是JPEG,EXCEL或TIFF

请指教,真的在寻找建议。我正在使用Microsoft Azure Data Lake Store并使用USQL。

1 个答案:

答案 0 :(得分:1)

目前不受支持。根据{{​​3}}

,它似乎在积压

您可以按照链接中的建议编写自定义提取器:

  

如果它可用,如JPEG中的EXIF - 使用自定义提取器从内容中提取一些属性。

根据the feedback site博客文章,他们已经完成图像属性提取,请参阅this。它可以作为如何为您的场景实现此功能的指南。这是the repo

@image_features =
    EXTRACT copyright string, 
            equipment_make string,
            equipment_model string,
            description string,
            thumbnail byte[], 
            name string, format string
    FROM @"/Samples/Data/Images/{name}.{format}"

    USING new Images.ImageFeatureExtractor(scaleWidth: 500, scaleHeight: 300);

@image_features = SELECT * FROM @image_features
                  WHERE format IN("JPEG", "jpeg", "jpg", "JPG");

OUTPUT @image_features
TO @"/output/images/image_features.csv"
USING Outputters.Csv();

或者让另一个进程提取这些属性并将它们放在Azure Data Lake中的某些元数据文件中,以便您可以加入该文件。