从宇宙到ADLS的数据归档

时间:2019-07-31 07:36:12

标签: apache-spark bigdata azure-cosmosdb data-migration azure-data-factory-2

我正在处理IOT数据,每1秒从每个设备获取一次数据。这是通过IOT集线器来的,然后在Azure函数中进行处理,最后存储在Cosmos DB中。但是此数据正在大规模增长,因此我想在宇宙中设置TTL为5天,并将数据归档在ADLS中,该数据可以每天两次或每天一次定期进行。但是我无法弄清楚是否应该编写火花作业来进行此传输还是使用任何其他健壮且优化的方法?我想要一些关于此用例可使用的不同方法的建议。

1 个答案:

答案 0 :(得分:1)

Azure数据工厂提供了一种将数据从Cosmos DB复制到许多数据存储的方法。 https://docs.microsoft.com/en-us/azure/data-factory/connector-azure-cosmos-db