Azure Data Lake Store基准

时间:2016-02-16 12:41:23

标签: c# powershell azure cortana-intelligence azure-data-lake

致开发者,

我正在为Azure Data Lake做基准测试,我看到在同一区域内读取ADL存储区和写入VHD大约需要7.5 MB / S. PowerShell和C#就是这种情况,代码来自以下示例:

PowerShell代码来自https://azure.microsoft.com/en-us/documentation/articles/data-lake-store-get-started-powershell/ C#代码来自https://azure.microsoft.com/en-us/documentation/articles/data-lake-store-get-started-net-sdk/

上述代码示例是否可以用于基准测试,或者是否会提供新的SDK以提高吞吐量? 此外,当ADL Store普遍可用时,是否存在预期的吞吐量数量?

谢谢, 马克

2 个答案:

答案 0 :(得分:2)

文档中提供的代码可用于构建基准测试。在Azure Data Lake普遍可用之前,SDK将经历一些版本和更新。除了功能之外,还将包括性能改进。

关于性能基准的主题,我们的一般指导如下。 Azure Data Lake服务目前处于预览状态。我们一直致力于通过此预览阶段改进服务,包括性能。随着我们越来越接近一般可用性,我们将考虑发布有关预期的性能结果类型的其他指导。性能结果在很大程度上取决于许多因素,如测试拓扑,配置和工作负载。因此,如果不对所有这些进行检查,很难评论您的观察结果。如果您可以通过详细信息与我们联系,我们将很乐意为您服务一下。

Amit Kulkarni(Azure Data Lake项目经理)

答案 1 :(得分:0)

我开始编写Azure Data Lake Storage Throughput Analyzer并将第一个代码位放在GitHub上。

您应该在Azure VM上运行该工具,以便不测量您的互联网连接。

请随时将您的想法和代码贡献添加到我的GitHub回购中。

我希望这会有所帮助。