南京中新赛克科技申请大模型推理加速专利，加速大模型推理

金融界 2024 年 9 月 19 日消息，天眼查知识产权信息显示，南京中新赛克科技有限责任公司申请一项名为“一种结合机器学习和投机采样的大模型推理加速 *** 及系统“，公开号 CN202411110911.X，申请日期为 2024 年 8 月。

专利摘要显示，本发明公开了一种结合机器学习和投机采样的大模型推理加速 *** 及系统，其中 *** 包括：根据检索出的本地知识构建 n‑gram 语言模型；n‑gram 语言模型推理阶段根据给定文字 token，预测下一个 token 在词表中的概率分布，并采样预测下一个 token；基于构建的 n‑gram 模型和大模型，实现投机采样算法，加速大模型推理。与当前的主流 *** 相比，本发明生成的内容相比较于现有投机采样算法所使用的近似小模型，更加可靠，其计算量少且减少了内存访问的需求，速度更快。本发明还进一步分别将改进的投机采样算法应用于 transformers 库和推理框架 vLLM，推理速度获得进一步提升。

来源：金融界