成都智辰半导体申请用于生成式模型的推理方法专利，实现对无限长上下文的高效支持_行业新闻

成都智辰半导体申请用于生成式模型的推理方法专利，实现对无限长上下文的高效支持

创始人

2026-03-04 10:15:23

0次

国家知识产权局信息显示，成都智辰半导体有限公司申请一项名为“用于生成式模型的推理方法、系统、设备和介质”的专利，公开号CN121599097A，申请日期为2025年11月。

专利摘要显示，本发明提供一种用于生成式模型的推理方法、系统、设备和介质。方法包括：获取待处理数据，并将待处理数据输入至大语言模型；针对每一个注意力层进行如下推理：基于输入至注意力层的数据，生成查询向量、键向量和值向量，生成的键向量和值向量组合为缓存块；监测缓存队列内已存的缓存块，超过缓存空间的容量上限时，基于查询向量与缓存块的相关性得分进行筛选，以更新缓存队列；根据查询向量与更新后的缓存队列中各个缓存块，得到中间推理结果，并将其输入下一个注意力层进行推理，直至得到大语言模型末个注意力层生成的推理结果并予以保存；最终得到待处理数据的生成结果。本发明可在有限计算资源下，实现对无限长上下文的高效支持的目的。

天眼查资料显示，成都智辰半导体有限公司，成立于2023年，位于成都市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本2200万人民币。通过天眼查大数据分析，成都智辰半导体有限公司专利信息1条，此外企业还拥有行政许可1个。

声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。

来源：市场资讯

成都数据向量半导体推理方法模型上下文智辰缓存专利注意力键向量队列值向量

上一篇：资金榜丨居同类基金首位！芯片ETF东财（159599）净流入5008.3万元

下一篇：中科华辰申请电力系统中储能电站的调峰调度方法及系统专利，有效抑制放电末端的电流阶跃冲击

成都智辰半导体申请用于生成式模型的推理方法专利，实现对无限长上下文的高效支持

相关内容

热门资讯