如何将azure blob文件复制到azure数据湖分析

Question

有没有办法在Azure上创建作业或azure服务以将Azure blob文件移动（剪切）到Azure数据湖存储？

Answer 1

我想说Azure数据工厂非常适合这种情况。它支持调度（https://docs.microsoft.com/en-us/azure/data-factory/data-factory-scheduling-and-execution），并支持从Blob到Azure Data Lake的数据传输。请参阅此示例：https://docs.microsoft.com/en-us/azure/data-factory/data-factory-azure-datalake-connector

来自网站：

  

Data Factory是一个基于云的数据集成服务，可以协调和自动化数据的移动和转换。您可以使用Data Factory服务创建数据集成解决方案，该服务可以从各种数据存储中提取数据，转换/处理数据，并将结果数据发布到数据存储。

     

Data Factory服务允许您创建移动和转换数据的数据管道，然后在指定的计划（每小时，每天，每周等）上运行管道。它还提供丰富的可视化，以显示数据管道之间的沿袭和依赖关系，并从单个统一视图监控所有数据管道，以轻松查明问题并设置监控警报。

https://docs.microsoft.com/en-us/azure/data-factory/data-factory-introduction

Answer 2

Azure Data Lake Analytics 是一种计算服务，而不是数据存储。

Data Lake Analytics作业可以连接到以下数据：

• Data Lake Store
• Azure存储（Blob）：请参阅https://docs.microsoft.com/en-us/azure/data-lake-analytics/data-lake-analytics-manage-use-portal#manage-account-data-sources
• 通过联合查询的其他来源：http://sqlblog.com/blogs/jorg_klein/archive/2016/06/17/setup-azure-data-lake-analytics-federated-u-sql-queries-to-azure-sql-database.aspx

因此，您可以将数据保留在blob存储中，或使用Azure Data Factory将其传输到Data Lake Store以获得最佳的Google Analytics性能并享受其他优势（请参阅https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-overview）。