将来自dotenv的%%局部变量从jupyter传递到Azure HDInsight pyspark集群

Question

简介

This link详细说明了如何在本地安装jupyter以及如何对抗Azure HDInsight群集。这很适合设置。

然而：

1. 并非所有本地可用的python包都可在群集中使用。

2. 在提交＆＃39;之前，可能需要进行一些本地处理。一个单元格到集群。

我知道未安装的python软件包可以通过script actions和%%configure进行安装，但是如果我们在本地使用dotenv这些看起来不太好是可行的解决方案。

问题

1. 使用git进行源代码控制
2. Git repos是dev机器上的本地我们存储 .env个文件中的配置/敏感环境变量 本地（他们没有签入git）
3. dotenv包用于 读取敏感变量并在本地设置执行
4. blob存储 帐户名称和密钥是这些变量的示例
5. 如何将这些本地设置的变量传递给pyspark单元格？

本地小区示例



后面是pyspark cell