基于评论构建边的图嵌入模型 #

李剑，刘鹏*

（北京邮电大学人工智能学院，北京 100876）

2.02.02.02.02.02.02.02.02.02.02.0Artificial Intelligence School, Beijing University of Posts and Telecommunications, Beijing, 100876；Artificial Intelligence School, Beijing University of Posts and Telecommunications, Beijing, 100876北京邮电大学人工智能学院，北京 100876;北京邮电大学人工智能学院，北京 100876100876;10087613001936882;1580195589513001936882;15801955895北京邮电大学教3楼821室;北京邮电大学（海淀校区）学十公寓323lijian@bupt.edu.cn;1065111878@qq.com李剑，男，教授，博导，主要研究方向：人工智能，信息安全，量子密码;刘鹏（1995），男，在读硕士研究生，研究方向：推荐系统，自然语言处理，图神经网络李剑;刘鹏LI Jian;LIU Peng李剑国家自然科学基金（No.U1636106）；北京市自然科学基金（周艺华基金；4182006）2.02.02.02.02.02.02.02.02.02.02.02.02.02.02.01*|*期刊*|*Sam R, Lawrence S.Nonlinear dimensionality reduction by locally linear embedding[J]. Science, 2000, v.290 no.5500: 2323-2326.<CR>2*|*论文集*|*Perozzi B, Al-Rfou R, Skiena S. DeepWalk: Online Learning of Social Representation[C]. SIGKDD, New York, ACM, 2014, 701-710.<CR>3*|*论文集*|*Grover A, Leskovec J. node2vec: Scalable Feature Learning for Networks[C]. SIGKDD, San Francisco, ACM, 2016. 855-864.<CR>4*|*论文集*|*Leonardo F, Pedro H, Daniel R. struc2vec: Learning Node Representations from Structural Identity[C]. SIGKDD, Halifax, ACM, 2017, 385-394.<CR>5*|*论文集*|*Kipf T, Welling M. Semi-Supervised Classification with Graph Convoluational Networks[C]. ICLR, Palais des Congrès Neptune, ACM, 2017.<CR>6*|*论文集*|*Hamilton W L, Ying Z, Leskovec J, et al. Inductive Representation Learning on Large Graphs[C]. neural information processing systems,Long Beach, CA, 2017. 1024-1034.<CR>7*|*期刊*|*Jun C, Haopeng C. Edge-Featured Graph Attention Network[J]. arXiv preprint arXiv:2101.07671, 2021.<CR>8*|*论文集*|*Lin L, Wang H N. Graph Attention Networks over Edge Content-Based Channels[C].SIGKDD, virtual conference, ACM, 2020.1819-1827.<CR>9*|*论文集*|*Jeffrey P, Richard S, Chirstopher D. Glove:global vectors for word representation[C]. EMNLP. Doha:Association for Computational Linguistics, 2014.1532-1543.<CR>10*|*论文集*|*Pang L, Lan Y, Guo J, et al. Text matching as image recognition[C]. AAAI, Phoenix Arizona:AAAI Press, 2016. 2793-2799.<CR>11*|*论文集*|*Devlin J, Chang M W, Lee K, et al. BERT:pre-training of deep bidirectional transformers for language understanding[C]. NAACL-HIT 2019. Minneapolis:ACL, 2019. 4171-4186.基于评论构建边的图嵌入模型|Graph Embedding Model over Review-Based Edges|国家自然科学基金（No.U1636106）；北京市自然科学基金（周艺华基金；4182006）*|1|李剑|LI Jian|北京邮电大学人工智能学院，北京 100876|Artificial Intelligence School, Beijing University of Posts and Telecommunications, Beijing, 100876|李剑，男，教授，博导，主要研究方向：人工智能，信息安全，量子密码|北京邮电大学教3楼821室|100876|lijian@bupt.edu.cn|13001936882|13001936882<CR>|2|刘鹏|LIU Peng|北京邮电大学人工智能学院，北京 100876|Artificial Intelligence School, Beijing University of Posts and Telecommunications, Beijing, 100876|刘鹏（1995），男，在读硕士研究生，研究方向：推荐系统，自然语言处理，图神经网络|北京邮电大学（海淀校区）学十公寓323|100876|1065111878@qq.com|15801955895|15801955895

摘要：针对在推荐系统中训练用户和商品的图嵌入时，信息利用不充分的问题，提出了利用推荐系统中的评论和交互信息来训练用户、商品图嵌入的模型RHG，该模型以基于边的图神经网络为基础，首先利用评论文本构建图结构中的边用于对图节点信息进行聚合，其次设计不同特征空间用于提高聚合节点信息的效率，然后根据不同节点的重要性设计带有权重的损失函数从而优化训练。最终，在亚马逊的三个真实数据集上，通过推荐系统中的评分任务对图嵌入效果进行评判，RHG的均方误差相比目前基于文本的最优图神经网络模型CGAT降低了2.75%，证实了RHG模型的有效性。

关键词：模式识别与智能系统；图嵌入；评论文本；特征空间

中图分类号：TP399

Graph Embedding Model over Review-Based Edges

LI Jian, LIU Peng

(Artificial Intelligence School, Beijing University of Posts and Telecommunications, Beijing, 100876)

Abstract: In order to solve the problem of insufficient information utilization in user and item graph embedding training of recommendation system, The model RHG is proposed to train user and item graph embeddings by using reviews and interactive information in the recommendation system. Based on the edge based graph neural network, the model first constructs the edge in the graph by using the review text to aggregate the graph node information. Next, the model designs different feature spaces to improve the efficiency of the node information aggregation, and then a weighted loss function is proposed according to the importance of different nodes to optimize the training. Finally, on Amazon's three real datasets, the graph embedding effect is evaluated by the scoring task in the recommendation system. The mean square error of RHG is reduced by 2.75% compared with the current state-of-the-art model CGAT, which proves the effectiveness of the model.

Key words: Pattern recognition and intelligent system; graph embedding; review text; feature spaces

引言

在推荐系统中，由于用户与商品的交叉行为本质上是网络图中不同节点之间的关系，所以将用户和商品的关系建模为图一直是推荐系统尝试的方向，并且目前推荐算法通常将推荐任务转化为求用户和商品之间相关度的任务，该任务可以通过为先求得用户和商品节点的嵌入表示，然后通过计算用户和商品嵌入表示的匹配度得到用户和商品之间的相关度来实现。因此在推荐系统中，通过图嵌入模型获取用户与商品的嵌入表示成为了学术界和工业界研究的重点。

与此同时，随着推荐系统业务复杂性和数据复杂性日益增加，相关研究开始尝试挖掘更多有效特征，而推荐系统中的评论信息本身即表示用户和商品之间的一种交互信息，是一种具有较大价值的文本特征，并且得益于近年来自然语言处理技术的发展，对用户与商品之间评论文本的利用也已成为推荐系统中一个重要的研究领域。

针对以上背景，本文提出一种结合用户和商品之间评论和交互信息实现图嵌入训练的模型RHG。具体地，本文工作的主要贡献如下：

1）通过研究目前图神经网络中对边的表示方法，结合评论的自然语言属性与交互行为属性，首次将用户和商品之间的评论表示为用户与和商品之间的边。

2）通过研究当前基于边实现图神经网络中信息聚合的相关方法，设计出一种新的区分不同特征空间的聚合方法，用于聚合当前节点对应的邻域节点的特征信息。

3）根据不同节点的重要性提出一种带有权重的损失函数，用于平衡不同节点的影响。

4）在多个真实数据集上的实验效果表明，RHG模型相比当前最优的CGAT模型提升了2.75%，证实了RHG的有效性，并且通过组件分析，证实了RHG各个模块的有效性。

相关工作

近年来，对推荐系统中的用户和商品进行图嵌入表示已成为一个热点研究领域，并且在推荐系统的实际场景中，相关图嵌入训练模型也得到了较为广泛的应用，常见的图嵌入训练模型通过图的网络拓扑结构和节点本身的属性信息，学习图节点在高维图结构中的低维表示，从而应用于下游任务。

常见的图嵌入训练模型可以分为三类，第一类是基于矩阵分解的模型，其通过对用户和商品对应的交互矩阵进行分解得到用户和商品的图嵌入，典型的如LLE算法[1]，其假设每个节点都是嵌入空间中相邻节点的线性组合，从而实现交互矩阵的分解；第二类是基于随机游走的模型，如借鉴Word2Vec模型构建词序列思路的DeepWalk[2]，以及基于DeepWalk进行改进，结合了深度优先图搜索与广度优先图搜索实现有偏随机游走的Node2Vec[3]等。第三类则是利用图神经网络来对图嵌入进行学习，如使用深度自动编码来联合优化图网络的一阶和二阶网络邻近度的SDNE模型[4] ，在图中定义卷积算子从而迭代聚合节点的邻域嵌入的GCN[5]模型，以及对GCN直推式学习模式进行改进的归纳式的GraphSAGE[6]模型等。

此外，图嵌入模型本身与图神经网络紧密相关，针对于图神经网络，近年来产生了很多新的研究方向，比如拥有更丰富图结构的超图、基于边的图神经网络[7]、利用文本丰富图的特征信息[8]等。其中关于利用文本丰富图的特征信息的研究，主要关注的是如何在推荐系统中对文本进行表示和利用，这方面得益于近年来自然语言处理技术的发展，相关研究卷帙浩繁，从较为经典的Word2Vec词向量、GloVe词向量[9]，到RNN、LSTM模型，再到通过注意力机制和文本卷积操作进一步提取上下文信息的相关模型[10]，以及近年来大行其道的BERT[11]模型等，不一而足，本文对评论文本的表示和利用也属于这方面研究。

RHG算法描述

RHG模型以基于边的图神经网络为基础，给定用户和商品，以及用户与商品之间的评论，本文首先利用评论来表示图神经网络中的边，再利用边聚合邻域节点的信息，特别的，本文引入了不同的特征空间来实现图神经网络中节点信息的充分传递，最后，本文设计了考虑节点重要性的加权损失函数，从而优化训练过程。下面详细介绍上述过程。

基于评论表示边

本文使用谷歌GloVe词向量对评论文本进行初始化，对于用户和商品之间的评论, 通过在GloVe词向量中查询得到对应的词向量序列，其中n为50，表示输入评论文本的最大长度。

对于得到的词向量序列，需要将其变换成句向量，本文先使用文本卷积实现词向量序列上下文的抽取，然后对抽取后的词向量序列进行加和操作，得到评论文本对应的句向量。具体地，针对，第j个宽度为的卷积核所抽取的局部特征表示为：

其中为卷积操作，为第个卷积核，则f个卷积核得到的局部特征表示为：

从而抽取上下文之后，评论文本中所有词对应的特征表示序列为：

然后求和得：

即为基于评论所表示的用户u与商品v对应节点之间的边：

基于边的聚合

对每个图节点而言，由于每个图节点的邻接节点数量不一，其所连接的边的数量也不一样，所以基于边对邻接节点的信息进行聚合时，需要将边向量的每一维在用户维度和商品维度进行规范化，从而避免边和节点相乘后数值范围不一致，规范化方式如下：

其中表示边向量的第维，从而使得边向量满足：

关于边向量的聚合，在用户与商品的二分图中，一般认为图中的边是无向边，目前大部分基于边聚合节点信息的方式如下：

其中表示边聚合时的特征转换矩阵，该矩阵在用户和商品的聚合中是统一的，但是对于同一评论而言，由用户节点聚合到商品节点和由商品节点聚合到用户节点的信息并不一致，所以不同于现有模型基于相同的特征空间对边聚合，本文根据用户和商品区分边聚合的特征空间，同时还引入共享空间，用于表示对用户节点或商品节点聚合时共享的信息：

其中表示基于用户特征空间的边变换矩阵，表示基于商品特征空间的边变换矩阵，表示用户和商品共享的边变换矩阵。在以上通过边对邻域节点聚合后，对聚合得到的中间状态再作用一层特征变换，得到当前步骤下用户或商品节点的嵌入表示：

)

评分预测

虽然评分预测本质上是回归问题，但是用户对商品的喜好并不严格与分数保持一致，比如有的用户只喜欢打1分或者5分，当他碰到对他而言介于1分或者5分的商品时，他仍倾向于将其归为5分或者1分，而不是3分，所以针对于这种有类别属性的回归问题，一方面保证每个评分的类别属性，通过对应的参数预测属于每个类别的概率；另一方面仍将其作为回归问题处理，即依据所有类别的概率求关于类别的期望。于是，评分预测的计算过程如下。

对于用户和商品,评分为的类别概率为：

则最终预估的评分等级为：

损失函数的优化

长尾问题一直是推荐系统中较为棘手的问题，一般因为大量商品出现次数少，使得对应的特征分布较为稀疏，从而模型对该类商品的预测更加负向。长尾问题在图嵌入的训练中同样存在，由于邻域节点数量较多的节点对应的样本数也较多，所以该邻域节点在训练时对参数的影响也比较大，从而容易覆盖掉邻域节点数较少的节点的信息。然而，邻域节点数较少的节点对应的样本所蕴含的信息往往更有价值，比如平时较少购物的用户其购物行为更能代表用户的需求，所以为了考虑不同样本价值，即不同节点对或者不同边的价值，本文在计算损失函数时，基于节点的邻域节点数量对不同样本赋予不同权重。

基础的均方误差损失函数为：

其中即为一个用户商品节点对，对于不同节点对的重要性，本文用不同节点对之间的边的重要性来代替，边的数量越多边的重要性越小，所以优化后的损失函数为：

其中分别表示用户节点对应的边的数量和商品节点对应的边的数量。

实验分析

数据集与实验配置

实验基于亚马逊商品数据集（http://jmcauley.ucsd.edu/data/amazon/）中的电子音乐（Digital Music）、电子游戏（Video games）和工具与家具装修（Tools&Homes Improvement）的5-core数据集，提取出用户ID、商品ID、用户对商品的评分及用户对商品的评论。然后，进行以下两步额外处理：

1）考虑模型大小，过滤掉文本长度大于50个中文字符的评论。

2）虽然官方声明5-core数据集中用户或商品的评论数不小于5，但通过拓扑排序发现存在用户和商品的评论数小于5甚至为0，为保证模型在去除用户商品对所对应的评论后用户与商品依然有各自评论输入，过滤掉评论数小于2的用户或商品。

最终数据集的统计数据如下：

表1 数据集统计

Tab. 1 Data set statistics

Digital Music	Video Games	Tools
用户数	15698	10525	9443
商品数	11663	6955	7290
评论数	146510	50995	41103

将最终的数据集按照80%、10%、10%的比例划分数据集A、数据集B和数据集C，为了使最终模型评判的结果更加稳定，将数据集A作为训练集，数据集B和C互为验证、测试集，验证集用于在训练过程中选取用于评测的模型版本，测试集基于选取的模型版本给定最终评判结果。

对于RHG模型相关实验的参数配置，对于RHG，文本卷积核的窗口大小为3，其输出通道数即边的维度为50，用户与商品的隐层向量维度为50，用户和商品ID向量的维度为50，学习率0.001， Dropout系数为0.8。

对比实验

结合当前经典的嵌入训练模型、图嵌入训练相关模型以及推荐系统中经典的或最新的推荐模型，选取三类基准模型：

1）经典的嵌入训练模型：对此选取最朴素的矩阵分解模型MF。

2）图嵌入训练相关模型：结合工业界常见的应用与改进，选取归纳式的图嵌入模型GraphSage, 以及在此基础上引入注意力的GAT模型。

3）基于推荐系统的图嵌入模型：这部分模型原本就是应用于推荐系统的图嵌入训练模型，这也是RHG需要重点对比的模型，主要选取了GCMC模型、IGMC模型、NGCF模型以及CGAT模型。

关于以上用于比较的基线模型的参数，所有隐向量的维度为300，学习率随不同模型调整，从而使模型充分训练。

此外，对于图嵌入训练，需要设计一个统一的目标函数用于比较不同模型的效果，本文基于2.3节、2.4节提到的目标函数和损失函数，使用用户对商品的评分预估任务进行训练，然后使用均方误差(MSE)作为模型效果的评判指标。以上所有模型的评判结果见表2。

表2 模型对比（MSE）

Tab. 2 Model Comparison(MSE)

Digital Music	Video Games	Tools	平均
MF	0.3438	1.9570	1.8822	1.3943
GraphSage	0.3433	1.1253	1.0664	0.8450
GAT	0.3003	1.0953	1.0137	0.8031
GCMC	0.3091	1.0677	0.9924	0.7931
IGMC	0.3060	1.0794	0.9889	0.7914
NGCF	0.2773	1.0483	1.0130	0.7795
CGAT	0.2762	1.0437	0.9894	0.7698
RHG	0.2723	1.0126	0.9609	0.7486
提升	1.41%	2.98%	2.88%	2.75%

根据上表实验结果，基于图的嵌入模型比单纯的矩阵分解模型MF有显著提升；引入注意力的图嵌入训练模型GAT比单纯的归纳式模型GraphSage提升也较为显著；而基于推荐系统特定的评分预估任务提出的模型GCMC、IGMC相比GAT并没有显著提升，这说明了图嵌入训练算法在各个领域的通用性以及其设计思想的朴素性，也保证了在推荐系统中训练并使用图嵌入时的稳定性和泛化性；另一方面，作为同样应用于推荐系统的图嵌入训练模型， CGAT其效果明显优于GCMC、IGMC以及NGCF，是因为其在图神经网络中利用了用户和商品的描述文本（非评论文本）进行聚合，这也是现有的唯一基于图神经网络和相关文本训练图嵌入的模型，但是其通过LDA将评论文本特征分解为若干通道，所以无法结合图神经网络进行端到端的训练。

对于本文提出的模型RHG，明显优于现有的最优模型CGAT，其在三个数据集上平均的均方误差相对CGAT降低了2.75%，即证实了评论文本对于用户和商品图嵌入的信息增益，也证实了RHG模型对评论利用的有效性与模型设计的优异性。

组件分析

本论文提出的RHG训练模型，主要创新点在于引入评论文本作为图神经网络中的边以及设计了基于边的区分不同特征空间的聚合方式，其中引入评论文本的有效性在上一节通过对CGAT和RHG的相关分析已经得到验证，下面主要在利用评论文本的基础上，验证模型设计中各个结构的有效性，依次去除边的规范化（-norm edge）、聚合时特征空间的区分（-feat diff）、以及损失函数优化后模型(-loss opt)的效果，实验结果见表3。

表3 RHG组件分析

Tab. 3 Component analysis of RHG

Digital Music	Video Games	Tools	平均/下降
-norm edge	0.2739	1.0194	0.9700	0.7544/0.77%
-feat diff	0.2779	1.0307	0.9789	0.7602/1.55%
-loss opt	0.2745	1.0185	0.9675	0.7535/0.65%
RHG	0.2723	1.0126	0.9609	0.7486

由实验结果可见，三个组件对模型性能都有一定影响，其中特征空间的划分对RHG模型性能的影响最大，这也说明对用户和商品区分特征空间的必要性。此外，RHG中的三个组件对模型性能的降低相对较小，这一定程度上说明了评论对模型效果提升的有效性与模型整体设计的稳定性，不会因为其他模块的有无而产生过大的波动。

图嵌入可视化

为了更直观地展示评论对于图嵌入训练的提升效果以及RHG模型设计的有效性，本文基于Digital Music数据集，通过Kmeans聚类算法，对RHG和未使用文本数据的最优图嵌入模型NGCF所得到的图嵌入进行聚类并可视化，聚类的类别数量为7，结果如下：

图1 用户嵌入的聚类结果，左边NGCF，右边RHG

Fig. 1 Clustering visualization of user graph embeddings, NGCF on the left, RHG on the right

图2 商品嵌入的聚类结果，左边NGCF，右边RHG

Fig. 2 Clustering visualization of item graph embeddings, NGCF on the left, RHG on the right

由可视化结果可得，无论是用户嵌入、还是商品嵌入，RHG得到的图嵌入相比NGCF图嵌入在聚类效果上都有显著提升，从而直观地展示了评论对于图嵌入训练的有效性。

结论

本文提出一种基于评论文本与用户商品交互信息的图嵌入训练模型RHG, 该模型首次尝试在图神经网络中引入评论文本特征并用评论特征构建边，并通过优化信息聚合方式和损失函数来提高模型的效果，最终在三个真实数据上的实验结果验证了模型的有效性和优异性，不过，由于本文首次尝试将评论引入图嵌入的训练中，对评论信息在图神经网络中的表示和利用还有一定的优化空间，这将在后续的研究工作中进行完善。

[参考文献] (References)

[1] Sam R, Lawrence S.Nonlinear dimensionality reduction by locally linear embedding[J]. Science, 2000, v.290 no.5500: 2323-2326.
[2] Perozzi B, Al-Rfou R, Skiena S. DeepWalk: Online Learning of Social Representation[C]. SIGKDD, New York, ACM, 2014, 701-710.
[3] Grover A, Leskovec J. node2vec: Scalable Feature Learning for Networks[C]. SIGKDD, San Francisco, ACM, 2016. 855-864.
[4] Leonardo F, Pedro H, Daniel R. struc2vec: Learning Node Representations from Structural Identity[C]. SIGKDD, Halifax, ACM, 2017, 385-394.
[5] Kipf T, Welling M. Semi-Supervised Classification with Graph Convoluational Networks[C]. ICLR, Palais des Congrès Neptune, ACM, 2017.
[6] Hamilton W L, Ying Z, Leskovec J, et al. Inductive Representation Learning on Large Graphs[C]. neural information processing systems,Long Beach, CA, 2017. 1024-1034.
[7] Jun C, Haopeng C. Edge-Featured Graph Attention Network[J]. arXiv preprint arXiv:2101.07671, 2021.
[8] Lin L, Wang H N. Graph Attention Networks over Edge Content-Based Channels[C].SIGKDD, virtual conference, ACM, 2020.1819-1827.
[9] Jeffrey P, Richard S, Chirstopher D. Glove:global vectors for word representation[C]. EMNLP. Doha:Association for Computational Linguistics, 2014.1532-1543.
[10] Pang L, Lan Y, Guo J, et al. Text matching as image recognition[C]. AAAI, Phoenix Arizona:AAAI Press, 2016. 2793-2799.
[11] Devlin J, Chang M W, Lee K, et al. BERT:pre-training of deep bidirectional transformers for language understanding[C]. NAACL-HIT 2019. Minneapolis:ACL, 2019. 4171-4186.

基金项目：国家自然科学基金（No.U1636106）；北京市自然科学基金（周艺华基金；4182006）

作者简介：李剑，男，教授，博导，主要研究方向：人工智能，信息安全，量子密码. E-mail: lijian@bupt.edu.cn