SPARK：来自spark-glmnet包的Perforf线性/逻辑回归

Question

我是Spark的新成员，过去几周我一直在学习其中实施的方法。这次我想使用spark-glmnet包中实现的函数：spark-glmnet。我最感兴趣的是运行logistic regression。

我下载了一个源文件并使用命令创建了一个胖JAR：

sbt assembly

完成此过程后，我将JAR文件复制到服务器并运行Spark shell。

export HADOOP_CONF_DIR=/opt/etc-hadoop/;
/opt/spark-1.5.0-bin-hadoop2.4/bin/spark-shell \ 
--master yarn-client \
--num-executors 5 \
--executor-cores 6 \
--executor-memory 8g \
--jars /opt/spark-glmnet-assembly-1.5.jar,some_other_jars \ 
--driver-class-path /usr/share/hadoop-2.2.0/share/hadoop/common/lib/mysql-connector-java-5.1.30.jar 

但我不知道如何在Spark中运行此软件包中的函数。我怎样才能用坐标下降进行逻辑回归？

Answer 1

答案很简单：

 sc.addJar("path_to_my_jar")