- 1、本文档共10页,其中可免费阅读9页,需付费10金币后方可阅读剩余内容。
- 2、本文档内容版权归属内容提供方,所产生的收益全部归内容提供方所有。如果您对本文有版权争议,可选择认领,认领后既往收益都归您。
- 3、本文档由用户上传,本站不保证质量和数量令人满意,可能有诸多瑕疵,付费之前,请仔细先通过免费阅读内容等途径辨别内容交易风险。如存在严重挂羊头卖狗肉之情形,可联系本站下载客服投诉处理。
- 4、文档侵权举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
本发明提供了一种适用于消费级显卡的快速大模型推理服务方法和系统,包括:对预测器基线模型进行训练,获得神经元激活预测模型,预测神经元是否激活;将模型中的神经元分类为静态神经元和动态神经元,在离线时期分别分发给GPU和CPU;为每个神经元定义一个影响因子,并建立一个整数线性规划模型,通过近似求解获得执行效率最大化的神经元分发策略,并依据该策略将神经元预载到对应存储器中;CPU和GPU按照依赖关系异步执行各自神经元上已激活神经元的运算,最后同步合并运算结果;根据神经元激活预测的结果,识别并跳过未激活神
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号CN117689025A
(43)申请公布日2024.03.12
(21)申请号202311676610.9
(22)申请日2023.12.07
(71)申请人上海交通大学
地址200240
您可能关注的文档
- 一种晶体硅太阳能电池板生产废水的脱氮工艺.pdf
- 一种电传台架拆卸装置.pdf
- 化工园区水土气环境监控系统.pdf
- 一种支柱绝缘子带电探伤装置.pdf
- 一种反诈预警方法、装置、计算机设备及存储介质.pdf
- 一种特异性结合LTβR的核酸适配体及其筛选与运用.pdf
- 一种抗冲击型光伏板边框组件.pdf
- 一种管棒类低应力下料调控装置.pdf
- 一种方便吊装的真空炉吊具.pdf
- 一种抗污染高通量石墨烯中空纤维膜及其制备方法.pdf
- 外研版英语四年级上册 Module 2 Unit 2 What are you doing?课件.pptx
- 人音版音乐六年级上册-《黄河颂》-课件.pptx
- 花城版音乐四年级上册-《秋色》-课件.pptx
- 人音版音乐六年级上册-《龙的传人》-课堂教学设计.docx
- 花城版音乐三年级上册-《我们爱老师》课件.pptx
- 花城版音乐五年级上册-《青年友谊圆舞曲》课件.pptx
- ASUS华硕Data StorageExternal Slim DVD DriveET1620IUTTASUS ET1620I系列 用户使用手册(德语) 支援系统 Windows 8.1 64bit.pdf
- ASUS华硕Data StorageExternal Slim DVD DriveA4110 PROASUS A4110 用户使用手册(繁体中文).pdf
- CaDA咔搭积木C59061拼砌说明书用户手册.pdf
- 花城版一年级上册我们是小学生啦,我今天上学喽 课件.pptx
文档评论(0)