选择要存储和处理天气预报数据的正确Azure技术

Question

我想从NCEP GFS（天气预报数据提供商）下载FTP文件，并从中提取一些参数。过滤后（我只需要温度和沉淀），我每天有大约1 GB的GRIB格式（二进制）数据。由于这些文件包含“网格化数据”，因此SQL Azure不是（IMHO）存储此类文件的最佳解决方案（10年的数据导致存储3 TB）。 最后，Azure ML和Power BI应使用这些文件。报告涉及一些“地理空间连接”，用于按国家，州等汇总网格化数据。

您对如何选择正确的技术有任何想法吗？ 当我阅读Azure文档时，我有点迷失，因为有太多的数据存储，并且很难理解每个数据存储的优缺点：Azure Data Lake，HDInsight等。

提前感谢您的帮助。

最好的问候

Answer 1

在数据存储方面，您可以将数据存储在azure blob存储中。可能是一个处理这些文件的功能应用程序。这是基于我对磨削数据的了解不多。