使用未标记的数据集的自动编码器进行异常检测(如何构造输入数据)

时间:2019-06-14 07:04:37

标签: deep-learning autoencoder unsupervised-learning anomaly-detection

我是深度学习领域的新手,我想问一下使用自动编码器进行异常检测的未标记数据集。我令人困惑的部分从以下几个问题开始:

1)一些帖子说与原始数据集分离异常和非异常(假设已标记),并使用唯一的非异常数据集训练AE(通常,非异常的数量将更为占优势)。所以,问题是如果没有标签,我该如何分离我的数据集?

2)如果我使用原始的未标记数据集进行训练,如何检测异常数据?

1 个答案:

答案 0 :(得分:0)

数据标签不会进入自动编码器。

自动编码器由两部分组成 编码器和解码器

$route = Http\Literal::factory(array( 'route' => '/nice-looking-url', 'defaults' => array( 'controller' => 'Application\Controller\Nicelookingurl', 'action' => 'index' ), )); $router->addRoute('nicelookingurl', $route, null); :对输入数据进行编码,比如说具有784个特征到50个特征的样本

Encoder:从这50个功能中将其转换回原始功能,即784个功能。

现在可以检测异常, 如果您通过Decoder,则应将其转换回其unknown sample,而无需过多original sample。 但是如果有loss转换回来。那么它可能是lot of error

Picture Credit: towardsdatascience.com