Question

回答了我的问题：R or Python - loop the test data - Prediction validation next 24 hours (96 values each day)

我想用H2o Package预测第二天。 您可以在上面的同一链接中找到我的数据集的详细说明。

H2o中的数据维不同。

所以，在做出预测之后，我要计算MAPE

我必须将培训和测试数据更改为H2o格式

train_h2o <- as.h2o(train_data)

test_h2o <- as.h2o(test_data)

mape_calc <- function(sub_df) {
  pred <- predict.glm(glm_model, sub_df)
  actual <- sub_df$Ptot
  mape <- 100 * mean(abs((actual - pred)/actual))

  new_df <- data.frame(date = sub_df$date[[1]], mape = mape)

  return(new_df)
}

# LIST OF ONE-ROW DATAFRAMES
df_list <- by(test_data, test_data$date, map_calc)

# FINAL DATAFRAME
final_df <- do.call(rbind, df_list)

上部代码对于提前一天进行的 Non-H2o 预测验证非常有效，并且可以计算每天的MAPE。

我试图将H2o预测模型转换为普通格式，但是根据https://stackoverflow.com/a/39221269/9341589，这是不可能的。

要在H2O中进行预测，

例如，假设我们要创建一个随机森林模型

y <- "RealPtot" #target
x <- names(train_h2o) %>% setdiff(y) #features


rforest.model <- h2o.randomForest(y=y, x=x, training_frame = train_h2o, ntrees = 2000, mtries = 3, max_depth = 4, seed = 1122)

然后我们可以获取完整数据集的预测，如下所示。

predict.rforest <- as.data.frame(h2o.predict(rforest.model, test_h2o)

但就我而言，我正在尝试使用mape_calc进行一日预测

注意：R或Python中的任何想法都将受到赞赏。

UPDATE2（可复制示例）：**遵循@Darren Cook步骤：

我提供了一个更简单的示例-波士顿住房数据集。

library(tidyverse)
library(h2o)
h2o.init(ip="localhost",port=54322,max_mem_size = "128g")


data(Boston, package = "MASS")

names(Boston)
[1] "crim"    "zn"      "indus"   "chas"    "nox"     "rm"      "age"     "dis"     "rad"     "tax"     "ptratio"
[12] "black"   "lstat"   "medv"   


set.seed(4984)
#Added 15 minute Time and date interval 
Boston$date<- seq(as.POSIXct("01-09-2017 03:00", format = "%d-%m-%Y %H:%M",tz=""), by = "15 min", length = 506)

#select first 333 values to be trained and the rest to be test data
train = Boston[1:333,]
test = Boston[334:506,]

#Dropped the date and time
train_data_finialized  <- subset(train, select=-c(date))

test_data_finialized <- test

#Converted the dataset to h2o object.
train_h2o<- as.h2o(train_data_finialized)
#test_h2o<- as.h2o(test)

#Select the target and feature variables for h2o model
y <- "medv" #target
x <- names(train_data_finialized) %>% setdiff(y) #feature variables

# Number of CV folds (to generate level-one data for stacking)
nfolds <- 5

#Replaced RF model by GBM because GBM run faster
# Train & Cross-validate a GBM
my_gbm <- h2o.gbm(x = x,
                  y = y,
                          training_frame = train_h2o,
                          nfolds = nfolds,
                          fold_assignment = "Modulo",
                          keep_cross_validation_predictions = TRUE,
                          seed = 1)

mape_calc <- function(sub_df) {
  p <- h2o.predict(my_gbm, as.h2o(sub_df))
  pred <- as.vector(p)
  actual <- sub_df$medv
  mape <- 100 * mean(abs((actual - pred)/actual))
  new_df <- data.frame(date = sub_df$date[[1]], mape = mape)
  return(new_df)
}


# LIST OF ONE-ROW DATAFRAMES
df_list <- by(test_data_finialized, test_data_finialized$date, mape_calc)

final_df <- do.call(rbind, df_list)

这是我现在遇到的错误：

.h2o.doSafeREST（h2oRestApiVersion = h2oRestApiVersion，   urlSuffix =页面，：

错误消息：

提供的列类型POSIXct未知。无法进行解析   由于参数无效。

Answer 1

H2O在与R分开的进程中运行（无论H2O是在本地服务器上还是在远程数据中心中）。 H2O数据和H2O模型保留在该H2O过程中，R无法看到。

dH <- as.h2o(dR)的作用是将R数据帧dR复制到H2O的存储空间中。那么dH是描述H2O数据帧的R变量。即它是指针或句柄；不是数据本身。

dR <- as.data.frame(dH)的作用是将数据从H2O进程的内存复制到R进程的内存。（{dh描述单个列时，as.vector(dH)的作用相同）

因此，假设mape_calc()是R数据帧，修改sub_df的最简单方法是如下更改前两行：

mape_calc <- function(sub_df) {
  p <- h2o.predict(rforest.model, as.h2o(sub_df))
  pred <- as.vector(p)

  actual <- sub_df$Ptot
  mape <- 100 * mean(abs((actual - pred)/actual))

  new_df <- data.frame(date = sub_df$date[[1]], mape = mape)

  return(new_df)
}

即将sub_df上传到H2O，然后将其提供给h2o.predict()。然后使用as.vector()下载所做的预测。

这与您的原始代码有关。因此，请保留原始版本：

# LIST OF ONE-ROW DATAFRAMES
df_list <- by(test_data, test_data$date, map_calc)

即不要直接在by()上使用test_h2o。

更新基于已修改的问题：

我对您的示例代码进行了两项更改。首先，我从sub_df中删除了date列。那就是导致错误消息的原因。

第二个更改只是为了简化返回类型；并不重要，但是您最终在之前重复了日期列。

mape_calc <- function(sub_df) {
  sub_df_minus_date <- subset(sub_df, select=-c(date))
  p <- h2o.predict(my_gbm, as.h2o(sub_df_minus_date))
  pred <- as.vector(p)
  actual <- sub_df$medv
  mape <- 100 * mean(abs((actual - pred)/actual))
  data.frame(mape = mape)
}

ASIDE ：h2o.predict()在处理一批数据以进行预测时效率最高。将h2o.predict()放入循环中是一种代码味道。您最好在循环外调用一次h2o.predict(rforest.model, test_h2o)，然后将预测下载到R中，然后cbind将它们下载到test_data中，然后对合并后的数据使用by。

更新这是您的示例，其工作方式如下：（我将预测作为测试数据的额外列添加；当然，还有其他方法可以实现）

 test_h2o <- as.h2o(subset(test_data_finialized, select=-c(date)))
 p <- h2o.predict(my_gbm, test_h2o)
 test_data_finialized$pred = as.vector(p)

 mape_calc2 <- function(sub_df) {
   actual <- sub_df$medv
   mape <- 100 * mean(abs((actual - sub_df$pred)/actual))
   data.frame(mape = mape)
 }

 df_list <- by(test_data_finialized, test_data_finialized$date, mape_calc2)

您应该注意到它运行起来要快得多。

附加更新：by()的工作方式是将第二个参数的相同值分组并一起处理。由于所有时间戳都不相同，因此您一次只能处理一行。

查看xts库，例如apply.daily()对时间戳进行分组。但是对于希望按日期进行处理的简单情况，有一个简单的技巧。将您的by()行更改为：

df_list <- by(test_data_finialized, as.Date(test_data_finialized$date), mape_calc2)

使用as.Date()可以节省时间。因此，同一天的所有行现在看起来都一样，并一起处理。

优势2：如果您声名狼藉minimal example，将会得到更好的答复。然后人们可以运行您的代码，他们可以测试他们的答案。通常最好使用每个人都拥有的简单数据集，例如虹膜，而不是您自己的数据。（您可以在前四个字段中的任何一个上进行回归；使用鸢尾花不一定总是要预测物种。）

ASIDE 3 ：您可以完全在H2O内部进行MAPE，因为abs()和mean()函数将直接在H2O数据帧上起作用（许多其他事情也是如此-请参阅H2O手册）：https://stackoverflow.com/a/43103229/841830 （我没有将其标记为重复项，因为您的问题是如何使by()适应H2O数据帧使用，而不是如何有效地计算MAPE！）

Answer 2

您似乎正在混合使用R和H2O数据类型。请记住，H2O的R仅仅是R API，与本机R不同。这意味着您不能将期望R数据帧的R函数应用于H2OFrame。同样，当您希望R2数据帧具有H2OFrame时，您也无法对其应用H2O函数。

从by的R文档中可以看到，该函数期望“ R对象，通常是数据帧，可能是矩阵”，因此您不能传递H2O帧。

类似地，您正在将date = H2OFrame传递到data.frame()。

但是，您可以使用as.data.frame()将H2OFrame转换为R数据帧，然后完全在R中进行计算。

Answer 3

是否只是问题所在的文件格式？从Excel导入并运行后，出现了“未知的提供的列类型POSIXct”的信息：

hr_data_h2o <- as.h2o(hr_data)
split_h2o <- h2o.splitFrame(hr_data_h2o, c(0.7, 0.15), seed = 1234)

我将源文件更改为制表符分隔（没有其他更改），问题消失了。

在H2o中计算MAPE：错误：提供的列类型POSIXct是未知的

3 个答案: