买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉之江实验室申请的专利一种混合KV缓存管理方法、装置、电子设备和存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121478678B 。

龙图腾网通过国家知识产权局官网在2026-05-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202610006989.X，技术领域涉及：G06F12/0877；该发明授权一种混合KV缓存管理方法、装置、电子设备和存储介质是由刘晓宇;孔丽娟;梅飞;程稳;滕会刚;余波;朱春节;何水兵;曾令仿设计研发完成，并于2026-01-06向国家知识产权局提交的专利申请。

本一种混合KV缓存管理方法、装置、电子设备和存储介质在说明书摘要公布了：本申请提供一种混合KV缓存管理方法、装置、电子设备和存储介质。其中，解决长序列推理中显存不足，影响推理效率的问题，提出的混合KV缓存管理方法，可以在综合利用GPU显存和CPU内存等存储介质进行混合KV缓存时，提高显存利用率，从而优化混合KV缓存管理过程中的显存使用，提高推理效率。其中该方法是根据大模型长序列推理过程中的KV缓存块的时序特征的访问数据，构建训练集并训练LSTM模型，通过LSTM模型来预测并指导缓存的管理决策如卸载、加载等。此方法可以从历史数据中学习如何动态调整缓存管理策略，从而优化大语言模型长序列推理混合KV缓存过程中的显存使用。

本发明授权一种混合KV缓存管理方法、装置、电子设备和存储介质在权利要求书中公布了：1.一种混合KV缓存管理方法，其特征在于，包括： 提取大模型长序列推理过程中在历史时间段内的各KV缓存块被访问的历史数据中的时间序列特征；所述缓存块是指每个时间窗口内的大模型的推理框架中的KV缓存单位；基于所述时间序列特征，构建LSTM模型的数据集；所述LSTM模型的标签用于表示在下一个时间窗口内缓存块是否被再次访问；所述标签是一个二分类值，为1的值用于表示缓存块在下一个时间窗口内被访问，为0的值用于表示缓存块在下一个时间窗口内没有被访问；所述数据集为具有时序特征的数据，且包括训练集和验证集；所述时间序列特征包括：时序序列特征获取的时间、访问类型、本次访问涉及的数据量、当前页与上一次访问页的逻辑距离、当前页在显存中的累计驻留时间、及系统实时负载指标中至少一者； 使用所述训练集，训练LSTM模型； 使用所述验证集，对训练后的LSTM模型进行评估，得到训练好的LSTM模型；所述训练好的LSTM模型部署于所述大模型的推理框架内，用于确定KV数据的下一个时间段是否会被访问，以指导长序列推理缓存决策； 获取用户具有时序特征的访问数据；所述访问数据包含至少一个token对应的KV数据的访问信息；所述访问数据包含文档加指令形成的长序列和或对话推理指令； 将部分token对应的第一KV数据，输入至所述训练好的LSTM模型，以使LSTM模型确定所述第一KV数据在下一个时间段是否会被访问的标签；按照所述标签，若所述第一KV数据会被访问，存放到显存；若所述第一KV数据不会被访问，存放到内存；所述显存和所述内存均用于KV缓存，并将所述下一个时间段会被访问的KV数据优先存放于所述显存中。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人之江实验室，其通讯地址为：311121 浙江省杭州市余杭区文一西路2880号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。