将Spark应用程序提交给HDInsights时HTTP发布问题

Question

我正在使用Scala编程语言。

当我在Scala工作表中运行以下代码时，效果很好。

我有两个问题：

1. 当我向HDInsights提交具有相同代码的Spark应用程序时，出现此异常：

     

   用户类引发异常：java.net.UnknownHostException：url-Dev：名称或服务未知。

   为什么找不到url-Dev？

2. 如何将凭证传递给该发帖请求？

   import org.apache.http.client.methods.HttpPost
   import org.apache.http.impl.client.DefaultHttpClient
   import org.apache.http.entity.StringEntity
   import org.apache.http.util.EntityUtils
   
   val url = "http://url-Dev";
   val post = new HttpPost(url)
   post.setEntity(new StringEntity("json"))
   
   val client = new DefaultHttpClient   
   val response = client.execute(post)    
   val entity = response.getEntity()    
   val content = EntityUtils.toString(entity)
   println(content)
   

Answer 1

url-dev是您网络中的本地地址。 HDInsight群集在Azure的虚拟网络中运行。它不会从那里连接到您的本地网络。您需要以安全的方式将url-dev公开给Internet，以便可以从Azure进行访问，然后使用该公共端点和身份验证机制。您还可以使用Azure VNet做更高级的本地网络对等连接选项。