如何将Spark应用程序部署到远程HPC系统?

时间:2017-12-16 05:32:47

标签: python apache-spark parallel-processing

我已经安装,配置了Spark,并开发了一个并行算法,用于在我的笔记本电脑上进行最大的团队检测(cant load DLL文件)。

Clique检测是NP难问题,计算挑战。

您是否可以帮助我逐步指导我将笔记本电脑中的maxClique.py配置并部署到高性能计算中心的远程群集中。 http://www.sdsc.edu/services/hpc/hpc_systems.html

感谢您的帮助

1 个答案:

答案 0 :(得分:1)

如上所述,
每个HPC超级计算中心,
包括SDSC中心,
还支持服务项目,帮助申请人以最佳实践方式开展计算工作,并根据各自的HPC中心本地实践进行微调,以便在其托管计算HPC结构上执行。

请遵循SCSC支持指示:

  

技术咨询

     

SDSC Consultants在各种矢量和并行平台上拥有计算科学和工程方面的经验。我们的顾问可以帮助用户解决与SDSC计算资源相关的问题。在向SDSC Consulting提交问题之前,建议用户调查我们的“有用工具”部分:

     
      
  • User Guides - 适用于所有SDSC机器,新用户信息,高级编程文章。
  •   
  • 太平洋标准时间上午9点至下午5点提交机票或 E-mail consult@sdsc.edu。
  •   
  • 致电1-866-336-2357(太平洋标准时间太平洋时间上午9点至下午5点进行定期查询;仅限紧急支持,每周7天,每天24小时)。
  •