中国端侧大模型行业研究.docx

4

4

研究框架

中国端侧大模型行业概述

----------

6

定义与分类

----------

7

发展历程

----------

8

驱动力

----------

9

市场规模

----------

10

中国端侧大模型行业产业链分析

----------

11

产业链

----------

12

模型压缩技术

----------

13

成本构成

----------

14

厂商类型

----------

15

行业场景

----------

16

业务场景

----------

17

中国端侧大模型行业分析

----------

19

政策分析

----------

20

行业壁垒

----------

21

竞争格局

----------

22

发展趋势

----------

23

中国端侧大模型行业典型厂商分析

----------

24

阿里云

----------

25

商汤科技

----------

26

面壁智能

----------

27

方法论及法律声明

----------

28

业务合作

----------

29

400-072-5588

名词解释

AI大模型：指的是大型人工智能模型，通常由数十亿至数百亿个参数组成，用于各种自然语言处理、计算机视觉等任务。

模型压缩技术：是一系列用于减少大型神经网络模型尺寸和计算复杂度的技术，包括剪枝、量化、蒸馏等方法，旨在减少模型大小的同时保持其性能。

IoT设备：指的是物联网设备，通常具有较小的计算能力和存储空间，但能够通过互联网进行通信和

数据交换。

PC设备：个人计算机，如台式机、笔记本电脑等，通常具有较高的计算和存储能力，适合运行复杂的应用程序和任务。

数据中心：指的是大规模的服务器集群，用于存储和处理大量数据，支持云计算服务和网络应用。

服务器：通常指的是提供网络服务、存储和计算资源的计算机系统，可用于托管网站、应用程序等。

BERT：是一种预训练的自然语言处理模型，采用Transformer架构，能够理解文本语境并在各种NLP

任务中取得良好性能。

DistilBERT：是对BERT模型进行了蒸馏（Distillation）的轻量化版本，通过减少参数和计算复杂度来

提高模型的运行效率。

TinyBERT：是进一步轻量化的BERT模型，通过更深入的模型压缩和优化来适应资源受限的环境，如移动设备或物联网设备。

JetsonAGXXavier：高性能嵌入式系统，具有GPU和AI计算能力，适用于边缘计算和深度学习应用。

TPU：谷歌推出的张量处理单元，是一种专门用于加速人工智能工作负载的定制硬件加速器。

PyTorchMobile：是PyTorch框架的移动端部署版本，支持在移动设备上运行训练好的深度学习模型。

TensorFlowLite：是谷歌推出的用于在移动设备和嵌入式系统上部署深度学习模型的轻量级框架。

ONNX：开放神经网络交换，是一种开放的跨平台深度学习模型表示格式，支持模型在不同框架之

间的转换和部署。

预训练模型：指的是在大规模文本数据上进行预训练的神经网络模型，通常包含通用的语言或视觉理解能力，并可通过微调适应特定任务。

中心云：指的是传统的云计算架构，数据和计算资源集中在大型数据中心进行管理和运行。

边缘云：是一种分布式的云计算架构，将计算和存储资源放置在接近终端用户的边缘节点上，以提高服务响应速度和降低网络延迟。

AI芯片：专门用于加速人工智能计算任务的硬件芯片，能够在高效率和低能耗的条件下进行大规模并行计算。

知识蒸馏：是一种通过让一个较大且性能较好的模型（教师模型）指导一个小型模型（学生模型）来提高学生模型性能的技术，通常用于模型压缩和轻量化。

Chapter1

行业概述

定义与分类

发展历程

驱动力

市场规模

6400-072-5588

6

中国端侧大模型市场探析——定义与分类

端侧大模型定义为运行在设备端的大规模人工智能模型，与传统的云端大模型相比，端侧大模型的参数量更小，因此可以在设备端直接使

端侧大模型定义为运行在设备端的大规模人工智能模型，与传统的云端大模型相比，端侧大模型的参数量更小，因此可以在设备端直接使用算力进行运行，无需依赖云端算力

端侧大模型的定义

AI大模型

AI大模型

网络计算 存储

网络

计算 存储

安全

端侧大模型

端侧大模型

用户 移动设备 IoT设备

PC设备

机器人

? 端侧大模型定义为运行在设备端的大规模人工智能模型，这些模型通常部署在本地设备上，如智能手机、IoT、PC、机器人等设备。与传统的云端大模型相比，端侧大模型的参数量更小，因此可以在设备端直接使用算力进行运行，无需依赖云端算力。

AI大模型端侧大模型

AI大模型

端侧大模型

模型推理方式：服务器或云端