买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉合肥工业大学申请的专利一种融合多模态评论信息的用户个性化需求预测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116150480B 。

龙图腾网通过国家知识产权局官网在2026-05-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310011459.0，技术领域涉及：G06F16/9535；该发明授权一种融合多模态评论信息的用户个性化需求预测方法是由姜元春;周凡;钱洋;刘业政;袁坤;柴一栋设计研发完成，并于2023-01-05向国家知识产权局提交的专利申请。

本一种融合多模态评论信息的用户个性化需求预测方法在说明书摘要公布了：本发明公开了一种融合多模态评论信息的用户个性化需求预测方法，其步骤包括：1.基于用户的购买历史记录，构建用户‑商品的购买关系网络；2.利用用户发表的多模态评论内容，构建网络图中边的属性；3.利用多模态变分自编码器挖掘用户在文本和图像两种模态上的主题分布；4.利用图注意力网络建模用户与商品之间的交互信息和多模态评论内容的语义信息；5.选取合适的损失函数来训练和优化模型。本发明结合了变分自编码器和图注意力网络，既能够分别从文本和图像这两种模态的数据中充分且全面地挖掘出用户对商品的偏好信息，又能够准确地对用户和商品进行表征，从而能达到更加精确的用户个性化需求的预测效果。

本发明授权一种融合多模态评论信息的用户个性化需求预测方法在权利要求书中公布了：1.一种融合多模态评论信息的用户个性化需求预测方法，其特征在于，是按如下步骤进行： 步骤1、构建数据集； 步骤1.1、利用有向图表征用户-商品之间的购买关系网络，其中，用户和商品为有向图中的各个节点，表示所有节点的集合，若用户节点购买商品节点，则表示用户节点和商品节点之间存在边，并记为，表示所有边的集合，且边对应一个注意力系数和主题分布；并将用户节点和商品节点互相作为邻居节点； 步骤1.2、获取用户节点对商品节点的评论文本，并经过分词、去停用词处理后得到评论文本的单词列表，记为，其中，表示单词列表中的第个单词；表示单词列表的单词总数； 计算用户节点对商品节点的评论文本在词典中所有单词上的词频表征向量，其中，表示评论文本在词典中第个单词出现的次数，表示所有用户节点对商品节点的评论文本中所有不重复的单词的数量； 将用户节点对商品节点的评论文本的长度用零向量填充以达到长度N后，输入BERT模型中进行处理后得到文本初始表征向量，记为，其中，表示文本初始表征向量中的第个单词的表征； 步骤1.3、获取用户节点对商品节点的评论图像数据并进行像素统一处理后，得到评论图像的初始表征向量，记为，其中，表示评论图像在第维上的特征值，表示初始特征向量的维度； 步骤2、构建多模态变分自编码器网络，包括：模态编码模块、模态融合模块和模态解码模块； 步骤2.1、构建模态编码模块，包括：文本编码网络和图像编码网络；其中，所述文本编码网络包括：Bi-LSTM网络、第一全连接层；所述图像编码网络包括：预训练的VGG-19网络、第二全连接层； 步骤2.1.1、以为当前时间步，将所述文本初始表征向量中的第个单词的表征输入所述Bi-LSTM网络中，从而利用式1-式5分别得到遗忘门状态、输入门状态、输出门状态、当前第个时间步的单元状态和当前第个时间步的单元输出： 1 2 3 4 5 式1-式5中，表示逐元素相乘，是sigmoid激活函数，是双曲正切函数，和分别表示遗忘门的两个权重系数，表示遗忘门的偏置向量，和分别表示输入门的两个权重系数，表示输入门的偏置向量，和分别表示输出门的两个权重系数，表示输出门的偏置向量，和分别表示细胞单元的两个权重系数，表示细胞单元的偏置向量，表示第个时间步的单元状态，表示第个时间步的单元输出，当n=1时，令、； 步骤2.1.2、所述第一全连接层利用式6输出文本隐特征； 6 式6中，表示所述第一全连接层的权重矩阵；表示第个时间步的单元输出； 步骤2.1.3、利用预训练的VGG-19网络对评论图像进行表征，得到图像特征向量，从而利用式7对图像特征向量进行编码，获得图像隐特征； 7 式7中，表示第二全连接层的权重矩阵； 步骤2.2、所述模态融合模块利用式8计算文本和图像融合后的多模态共享表征； 8 式8中，，表示逻辑正态分布，是逻辑正态分布的均值，其中，表示用户节点对商品节点的多模态评论内容在第个主题上的均值，是逻辑正态分布的方差，其中，表示用户节点对商品节点的多模态评论内容在第个主题上的方差，是一个服从均值为0，方差为1的正态分布的随机变量； 步骤2.3、构建模态解码模块，包括：文本解码器网络和图像解码器网络； 所述文本解码器网络对进行解码重构，得到文本重构特征向量，其中，表示文本重构特征向量中第个单词重构后的表征； 所述图像解码器网络对进行解码重构，得到图像重构特征向量，其中，表示评论图像在第维重构后的特征值； 步骤3、图注意力网络的处理： 步骤3.1、定义更新次数为d，并初始化d=1； 步骤3.1.1、利用式9计算第d-1次更新的用户节点的特征； 9 式9中，表示用户节点的所有邻居商品节点集合，表示用户节点的所有邻居商品节点的数量； 步骤3.1.2、利用式10计算第d-1次更新的商品节点的特征； 10 式10中，表示商品节点的所有邻居用户节点集合，表示商品节点的所有邻居用户节点的数量； 步骤3.2、利用式11计算第d-1次更新的用户节点及其邻居商品节点之间的第k头注意力系数； 11 式7中，表示激活函数，和是两个待学习的参数矩阵，表示第d-1次更新的用户节点的邻居商品节点集中除邻居商品节点之外的某个邻居商品节点的特征，表示对向量的拼接操作，表示矩阵转置操作； 步骤3.3、分别利用式12和式13计算第d次更新的用户节点的特征向量和商品节点的特征； 12 13 式12-式13中，表示节点和节点之间的边在第个主题上的概率；且，表示主题数量； 步骤4、构建由多模态变分自编码器网络和图注意力网络构成的用户个性化需求预测模型并进行训练和优化； 步骤4.1、利用式14构造图注意力网络在第d-1次更新的损失函数： 14 式14中，表示用户节点的非邻居节点集合，表示用户节点的非邻居节点集合中节点的数量；表示用户节点的非邻居节点集合中所有节点的期望，表在第d次更新的用户节点的非邻居节点集合中任一节点的特征； 利用式15构造评论图像数据的重构损失： 15 式15中，表示边集合中所有边的期望； 利用式16构造文本数据的重构损失： 16 式16中，表示初始表征向量中的第个单词的表征是否为词典中第个单词的表征，若是，则令为1；否则，令为0； 利用式17构造真实分布和变分分布之间的KL损失： 17 利用式18构造用户个性化需求预测模型在第d次更新的整体损失函数： 18 步骤5.2、利用Adam算法对所述用户个性化需求预测模型进行训练，并计算所述整体损失函数，当更新次数d达到最大值dmax时或是整体损失函数收敛时，停止训练，从而得到最优需求预测模型，用于对任一用户进行商品个性化需求的预测。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人合肥工业大学，其通讯地址为：230009 安徽省合肥市包河区屯溪路193号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。