AutoRec算法

2022-11-21 13:04 作者:021usc 0人读过 | 我要投稿

AutoRec模型是一个单隐层神经网络推荐模型，可以说是最简单的神经网络的模型。它的原理也不复杂，可以看做是MLP（多层感知机）和DNN（深度神经网络）的简化，其中最主要的是结合了自编码器（AutoEncoder）和协同过滤（Collaborative Filtering）的思想。

自编码器是一个能够完成数据“自编码”的模型：将数据以向量的形式作为输入，通过自编码器，得到的输出尽可能和输入接近。这个概念和矩阵分解非常的相似，矩阵分解就是将评分矩阵分解成两个矩阵，通过训练拟合原有的评分，最后通过两个矩阵相乘的形式得到一个满秩的矩阵，也就是可以对未知的评分进行预测。

其中输入为 $x$ ，输出为 $r$ ， $S$ 代表所有的输入数据向量， $h%3Df(x)$ 表示编码器， $r%3Dg(h)%3Dg(f(x))$ 表示解码器，自编码器的目标便是优化损失函数。

$%5Coperatorname%7Bargmin%7D%20%5Csum_%7Br%20%5Cin%20S%7D%5C%7Cr-g(f(x))%5C%7C_%7B2%7D%5E%7B2%7D$

就是令图中的红色部分的Error的值最小。

在基于评分数据的协同过滤算法当中，假设我们有 $m$ 个用户， $n$ 个物品，则有用户-物品评分矩阵 $R%20%5Cin%20%5Cmathbb%7BR%7D%5E%7Bm%20%5Ctimes%20n%7D$ 。对于一个用户 $u$ 来说，他对所有 $n$ 个物品的评分数据可以形成一个 $n$ 维的向量 $r%5E%7B(u)%7D%3D%5Cleft(R_%7Bu%201%7D%2C%20%5Cldots%2C%20R_%7Bu%20n%7D%5Cright)$ 。同理，对于一个物品 $i$ 来说，他对所有 $m$ 个物品的评分数据可以形成一个 $m$ 维的向量 $r%5E%7B(i)%7D%3D%5Cleft(R_%7B1%20i%7D%2C%20%5Cldots%2C%20R_%7Bm%20i%7D%5Cright)$ 。下面是AutoRec的整体模型框图

可以看到整个模型只有3层，蓝色的圆点代表的是隐层神经元，红色方框代表的是模型的输入 $y_i$ ，经过权重矩阵 $W_E$ 和 $W_D$ 到达输出层，我们的目的是通过训练模型，找到合适的权重矩阵 $W_E$ 和 $W_D$ ，以及偏置 $%5Cmu$ 和 $b$ ，使得输入值和输出值的误差最小。

$%5Carg%20%5Cmin%20_%7B%5Ctheta%7D%20%5Csum_%7By%20%5Cin%20S%7D%20%5C%7C%20y-h(y%20%3B%20%5Ctheta)%5C%7C_%7B2%7D%5E%7B2%7D$

$h(y%20%3B%20%5Ctheta)%3Df%5Cleft(W_%7BD%7D%20g%5Cleft(W_%7BE%7D%20y%2B%5Cmu%5Cright)%2Bb%5Cright)$

为了防止过拟合，可以对权重 $W_E$ 和 $W_D$ 添加约束

$%5Carg%20%5Cmin%20_%7BA%7D%20%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%5Cleft%5C%7Cy_%7Bi%7D-h%5Cleft(y_%7Bi%7D%20%3B%20%5Ctheta%5Cright)%5Cright%5C%7C_%7BF%7D%5E%7B2%7D%2B%5Cfrac%7B%5Clambda%7D%7B2%7D%5Cleft(%5Cleft%5C%7CW_%7BL%7D%5Cright%5C%7C_%7BF%7D%5E%7B2%7D%2B%5Cleft%5C%7CW_%7BD%7D%5Cright%5C%7C_%7BF%7D%5E%7B2%7D%5Cright)%20%5Ctext%20%7B%20%7D$