买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国矿业大学申请的专利一种基于多模态特征融合与聚类的低照度场景解析方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119380057B 。

龙图腾网通过国家知识产权局官网在2026-05-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411351909.1，技术领域涉及：G06V10/762；该发明授权一种基于多模态特征融合与聚类的低照度场景解析方法是由申政文;李玉莲;张晗;王江玉;王军设计研发完成，并于2024-09-26向国家知识产权局提交的专利申请。

本一种基于多模态特征融合与聚类的低照度场景解析方法在说明书摘要公布了：本发明公开了一种基于多模态特征融合与聚类的低照度场景解析方法，属于人工智能技术，构建了基于Transformer的单分支的特征提取网络；构建多模态特征交互融合模块实现多模态特征交互与融合；构建多模态融合特征聚类模块对多模态交互融合后的特征进行特征聚类，利用不同特征之间的语义距离和空间距离完成聚类的同时实现对特征的下采样，缓解了结构化下采样中细节边缘信息丢失的问题；构建多尺度特征聚合解码模块，用于接收编码网络特征信息，并根据多尺度特征的语义距离划分每个特征像素的类别。本发明能够充分可见光与热图像信息，能够在多样复杂低照度场景下的无人系统场景解析以及导航中应用。

本发明授权一种基于多模态特征融合与聚类的低照度场景解析方法在权利要求书中公布了：1.一种基于多模态特征融合与聚类的低照度场景解析方法，其特征在于，步骤如下： 步骤1、对MFNet数据集中1569幅图像进行归一化处理，将像素大小统一为H×W，H表示长度，W表示宽度；将统一尺寸后的图像按照784393的比例划分为训练数据集和测试数据集，对训练数据集进行数据增强构成网络训练数据集；转入步骤2； 步骤2、构建多模态特征融合与聚类网络： 所述多模态特征融合与聚类网络包括多模态特征编码网络、多模态特征交互融合模块、多模态融合特征聚类模块、多尺度特征聚合解码模块；其中，多模态特征编码网络是基于在ImageNet数据集上预训练的Transformer网络构成，作为提取特征的编码网络；多模态交互融合模块用于多模态图像特征交互与融合；多模态融合特征聚类模块用于将多模态交互融合后得到的融合特征进行特征聚类；多尺度特征聚合解码模块用于接收编码网络得到的多尺度特征信息，并根据多尺度特征的语义距离划分每个特征像素的类别；转入步骤3； 步骤3、利用网络训练数据集对多模态特征融合与聚类网络进行训练，得到训练好的多模态特征融合与聚类模型： S31、多模态特征编码网络特征提取分为四个阶段，第一个阶段用于提取可见光和热图像特征，后面三个阶段用于提取可见光和热图像融合后的特征；每个阶段依次提取到相应尺度的图像特征，其特征的尺度分别为H4×W4、H8×W8、H16×W16、H32×W32；转入S32； S32、将S31中第一个阶段提取到的可见光和热图像特征输入到多模态特征交互融合模块，得到可见光和热图像交互融合后尺度为H4×W4的特征，并传输到多模态融合特征聚类模块以得到聚类特征并输入到第二个特征提取阶段，得到第二个阶段尺度为H8×W8的特征；将第二个阶段得到尺度为H8×W8的特征进行上采样并与第一阶段得到的可见光和热图像交互融合后尺度为H4×W4的特征进行相加，将相加结果输入多模态融合特征聚类模块得到聚类特征并输入到第三个特征提取阶段，得到第三个阶段尺度为H16×W16的特征；将第三个阶段得到的尺度为H16×W16的特征进行上采样并与第二个阶段得到尺度为H8×W8的特征进行相加，将相加结果输入多模态融合特征聚类模块得到聚类特征并输入到第四个特征提取阶段，得到第四个阶段尺度为H32×W32的特征；转入S33； S33、将S32中第一个阶段得到的可见光和热图像交互融合后尺度为H4×W4的特征和后面三个阶段分别得到的尺度为H8×W8、H16×W16、H32×W32的特征分别通过跳跃连接的方式传输到多尺度特征聚合解码模块，得到像素大小为H4×W4的解码特征，转入S34； S34、对S33中输出的解码特征与类别特征计算欧式距离，将计算得到的距离值取负得到输出特征，将输出特征与标签间构建交叉熵损失，并以此对多模态特征融合与聚类网络的网络参数进行更新，得到训练好的多模态特征融合与聚类模型，转入步骤4； 步骤4、将测试数据集输入到多模态特征融合与聚类模型，输出测试数据集中每个样本对应的预测结果，测试多模态特征融合与聚类模型的准确率。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国矿业大学，其通讯地址为：221116 江苏省徐州市铜山区大学路一号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。