Question

我在一个大数据分析应用程序中使用Spark Mllib和Hadoop。我有一个功能集41个功能和一个标签。现在，在培训期间，我希望将我的功能与功能工程师混合搭配，并为我的场景找到最适合的最小功能。

为此我想在训练时选择在训练和测试模型精度时使用哪些功能。

我这样做

JavaRDD<LabeledPoint>[] splits = data.randomSplit(new double[] { 0.5, 0.5 });
JavaRDD<LabeledPoint> trainingData = splits[0];
JavaRDD<LabeledPoint> testData = splits[1];

以后使用该数据训练不同的模型。

modelLR = new LogisticRegressionWithLBFGS().setNumClasses(numClasses).run(trainingData.rdd());
modelRF = RandomForest.trainClassifier(trainingData, numClasses, categoricalFeaturesInfo, numTrees, featureSubsetStrategy, impurity, maxDepth, maxBins, seed);
modelNB = NaiveBayes.train(trainingData.rdd(), 1.0);
modelGBT = GradientBoostedTrees.train(trainingData, boostingStrategy);
modelDT = DecisionTree.trainClassifier(trainingData, numClasses, categoricalFeaturesInfo, impurity, maxDepth, maxBins);

现在，在使用数据集训练模型之前，我想过滤我想要使用的选择性特征的数据。有人可以通过JavaRDD<LabeledPoint>建议我这样做吗？

如果需要更多详细信息，请随时提出。

Answer 1

没关系。我自己想出了答案。

对于有兴趣这样做的人，我做了类似的事。

public static JavaRDD<LabeledPoint> filterData(JavaRDD<LabeledPoint> data, String filterString) {
        return data.map(new Function<LabeledPoint, LabeledPoint>() {
            @Override
            public LabeledPoint call(LabeledPoint point) throws Exception {
                double label = point.label();
                double[] features = point.features().toArray();
                String[] featuresInUse = filterString.split(",");
                double[] filteredFeatures = new double[featuresInUse.length];
                for (int i = 0; i < featuresInUse.length; i++) {
                    filteredFeatures[i] = features[Integer.parseInt(VectorizationProperties.getProperty(featuresInUse[i]))];
                }
                LabeledPoint newPoint = new LabeledPoint(label, Vectors.dense(filteredFeatures));
                System.out.println(newPoint);
                return newPoint;
            }
        });
    }

将筛选每条记录并返回已过滤的JavaRDD。

请随时询问进一步了解所需的任何详细信息。

使用具有许多功能的JavaRDD中的选择性功能

1 个答案: