如何从json文件中读取参数并在pyspark中构建paramGrid?

时间:2018-09-27 08:02:09

标签: pyspark apache-spark-mllib

我有一个字典,其中的参数为字符串格式。

hyperparameters= {
            "random_seed": 0,
            "num_trees": [
              30,
              70,
              5
            ],
            "max_depth": [
              25,
              35,
              1
            ],
            "min_instances_per_node": [
              2500,
              3000,
              100
            ]
          }

我正在遍历字典中的所有超参数来构建ParamGrid对象。

clf = LogisticRegression()
paramGrid = ParamGridBuilder()
for k, v in hyperparams.items():
    paramGrid = paramGrid.addGrid(clf.k, v) # Linenumber - 4
paramGrid = paramGrid.build()

在Linenumber-4中,我正在读取字符串并执行 clf.k 。根据文档,应该是这样

paramGrid = ParamGridBuilder()\
    .addGrid(lr.regParam, [0.1, 0.01]) \
    .addGrid(lr.fitIntercept, [False, True])\
    .addGrid(lr.elasticNetParam, [0.0, 0.5, 1.0])\
    .build()

在这里,我正在迭代字典并构建 paramgrid 。我的问题是,当我从字典中读取字符串格式的参数时, paramgrid 对象是否可以工作?有人可以澄清我的问题吗?

0 个答案:

没有答案