在AWS上尝试Dask

Question

我是一位正在探索在Amazon Web Services上使用Dask的科学家。我对Dask有一些经验，但对AWS没有经验。我有一些大型的自定义任务图要执行，如果我能向他们展示如何，一些同事可能也想这样做。我认为我应该使用Kubernetes with Helm，因为我属于"Try out Dask for the first time on a cloud-based system like Amazon, Google, or Microsoft Azure"类别。

1. 我也属于“动态创建用于交互使用的个人和临时部署”类别。我应该尝试使用本地的Dask-Kubernetes代替Helm吗？似乎更简单，但是很难权衡取舍。
2. 无论哪种情况，如何为Dask工作者提供一个统一的环境，其中包括您自己的Python软件包（不在任何软件包索引上）？ The solution I've found建议软件包必须位于 <script> @if(!empty(Session::get('message'))) var popupId = "{{ uniqid() }}"; if(!sessionStorage.getItem('shown-' + popupId)) { swal({ html: "{{Session::get('message')}}", showCloseButton: true, showCancelButton: false, showConfirmButton: false, animation: false, customClass: 'animated tada', focusConfirm: false, background: '#008eb0' }); } sessionStorage.setItem('shown-' + popupId, '1'); @endif </script> 或pip索引上。

感谢您的帮助！

Answer 1

使用Helm或Dask-Kubernetes吗？

您都可以使用。通常，从Helm开始比较简单。

如何包含自定义软件包

您可以使用pip或conda安装自定义软件。他们不需要在PyPI或anaconda默认频道上。您可以将pip或conda指向其他频道。这是一个使用github中的pip安装软件的示例

pip install git+https://github.com/username/repository@branch

对于小型自定义文件，您还可以使用Client.upload_file方法。