天津大学：2024年大模型轻量化技术研究报告.pdfVIP

大模型轻量化技术

张鹏

2024.8.24

目录

01大语言模型轻量化的技术需求

02大语言模型轻量化的技术概览

03大语言模型轻量化技术的详细讲解

04大语言模型轻量化技术的未来展望

语言模型背景

l语言模型是自然语言处理任务中的核心技

l自然语言处理是国家重大战略需求

术，大语言模型的发展取得突破性进展

国务院新一代人工智能发展规划自然语言处理信息检索

自然语言处理技术

数字媒宣多模态内容理解

自然语言

算力资源消耗大可解释性差

语言模型的发展历史和关键难题

发展阶段关键难题

语义概率空间

语义计算维数灾难

模型设计不可解释

联合概率：(,...)

应用部署参数量大

条件概率：(|...)

总体思路：用轻量化的方式解决大模型实际应用部署过程中遇到的问题

大模型参数规模

196ms/token

73ms/token

Param:~1800B

Param:~540B

Param:~170B

Param:~11B

ChatGPT/GPT4

Param:~0.3BPaLM

GPT-3

T5

BERT

2018.102019.102020.052022.102023.03

大语言模型涌