Question

是否可以在Spark中运行混合效果回归模型？（正如我们可以用R中的lme4，或Julia中的MixedModels）任何例子都会很棒。

我读过有一个GLMix函数，但我不知道用户是否可以直接使用它来拟合模型并获得系数和p值，或者它是否只能由机器学习库在内部使用。

我想转向Spark，因为我的数据集比内存大得多。

是否还有其他通用数据库或框架可以执行类似磁盘流数据的操作？我只看到一些能够进行简单的线性回归。

此致

Answer 1

是的，Spark绝对有可能。

我要研究的第一件事是一个相当流行的库ML Lib。我不确定它是否确实符合您所需的模型，但绝对不仅仅只是“简单线性回归”。

另一个我不熟悉的库'linkedin/photon-ml'确实提到了混合效果模型。

以下是使用“通用加性混合效果”驱动程序的示例：

spark-submit \
  --class com.linkedin.photon.ml.cli.game.GameTrainingDriver \
  --master local[*] \
  --num-executors 4 \
  --driver-memory 1G \
  --executor-memory 1G \
  "./build/photon-all_2.10/libs/photon-all_2.10-1.0.0.jar" \
  --input-data-directories "./a1a/train/" \
  --validation-data-directories "./a1a/test/" \
  --root-output-directory "out" \
  --feature-shard-configurations "name=globalShard,feature.bags=features" \
  --coordinate-configurations "name=global,feature.shard=globalShard,min.partitions=4,optimizer=LBFGS,tolerance=1.0E-6,max.iter=50,regularization=L2,reg.weights=0.1|1|10|100" \
  --coordinate-update-sequence "global" \
  --coordinate-descent-iterations 1 \
  --training-task "LOGISTIC_REGRESSION"

Spark或其他技术中的混合效果模型

1 个答案: