Snowflake POC（将Microsoft AX在Premise上的数据加载到Snowflake）

Question

我必须与Snowflake进行概念验证（POC），我是Snowflake的新手，正在寻求建议。

用例：

1. 必须将Microsoft Dynamics AX（内部部署）中的7个表（5个维表和2个事实表）的数据加载到雪花中
2. 两张桌子很大，有超过1.5亿条记录
3. 数据一旦加载到Snowflake，就必须在Snowflake中围绕7个表创建星型模式模型
4. 要使用SSRS，Power BI或Excel从Snowflake读取数据。

需要衡量：

1. 将数据从源加载到雪花所需的时间（时间，资源利用等）
2. 以及阅读效果如何？
3. 行级安全性：区域管理员浏览Power BI报表，应该只看到其数据，而不能看到其他区域管理员数据

请有人可以解释实现上述目标所涉及的步骤吗？如果您可以提供一些支持性链接和脚本，那就太好了。

我需要执行以下操作吗？

1. 将数据从AX表加载到文件中（我认为文件大小有限制：https://docs.snowflake.net/manuals/user-guide-getting-started.html）
2. 在Amazon S3或Azure Blob存储上上传这些文件，然后从那里可以将每个文件加载到Snowflake

Answer 1

Snowflake的这个怎么样？ How to Craft Your Data Warehouse POC
您必须注册才能从2019年开始获得这本电子书...

此外，我强烈建议您在“我需要做？”中同时做这两项。部分。

Answer 2

Snowflake提供的4种数据加载选项： 小型数据集： 1）Snowflake Web UI /接口：加载有限的数据（小型数据集） 批量加载： 2）SnowSQL（CLI客户端）：SnowSQL命令行界面，用于将大容量数据从云中的文件加载到雪花。 SnowSQL是下一代命令行客户端，用于连接到Snowflake以执行SQL查询并执行所有DDL和DML操作，包括将数据加载到数据库表中以及从数据库表中卸载数据。您必须在客户端计算机上安装和配置SnowSQL。 3）Snowpipe：Snowpipe是Snowflake的连续数据提取服务。在文件添加到舞台并提交以供提取后的几分钟内，Snowpipe会加载数据 4）第三方ETL工具：例如Matillion（SaaS），SSIS（IaaS和内部部署），Talend（SaaS）等。创建您自己的数据集成包以将数据加载到雪花。

步骤： 1.将数据从源AX加载到Snowflake i）由于​​我们是MS商店，因此创建一个SSIS包以将数据从AX加载到CSV文件（每个文件的最大大小应为100 MB），然后将文件放在Azure Blob存储或AWS S3上 ii）使用SnowSQL将数据从文件（Azure Blob存储）加载到Snowflake 要么 iii）使用第三方ETL工具SSIS将数据直接从Source加载到Snowflake，而无需任何转换，一旦将数据转储到Snowflake，您就可以进行转换。