ChatGPT人工智能研究框架 P70.pptx

;

摘要

ChatGPT市场反应热烈，国内外巨头纷纷入场

据统计，ChatGPT日活跃用户数的增速远超Instagram，1月份平均每天有超过1300万名独立访问者使用ChatGPT，是去年12月份的两倍多；国内外科技巨头都非常重视ChatGPT引发的科技浪潮，积极布局生成式AI，国内厂商(百度、腾讯等)也高度关注ChatGPT，积极探索前沿技术，相关深度应用也即将推出。

ChatGPT经历多类技术路线演化，逐步成熟与完善

ChatGPT所能实现的人类意图，来自于机器学习、神经网络以及Transformer模型的多种技术模型积累。Transformer建模方法成熟以后，使用一套统一的工具来开发各种模态的基础模型这种理念得以成熟，随后GPT-1、GPT-2、GPT-3模型持续演化升级，最终孵化出ChatGPT文本对话应用。

AIGC跨模态产业生态逐步成熟，商用落地未来可期

AIGC产业生态当前在文本、音频、视频等多模态交互功能上持续演化升级，奠定了多场景的商用基础。跨模态生成技术也有望成为真正实现认知和决策智能的转折点。

ChatGPT乘东风，商业架构日益清晰

随着ChatGPTPlus发布，商业化序幕已经拉开。ChatGPT在传媒、影视、营销、娱乐以及数实共生助力产业升级等领域均可产生极大助益，提升生产力曲线，多维度赋能虚拟经济和实体经济。;;;;

ChatGPT——生成式AI迎来拐点，商用落地前景可期

OpenAI的ChatGPT是生成式人工智能技术(AIGC)浪潮的一部分;

诚信·责任·亲和·专业·创新;;;;

1月18日，微软宣布将于3月底前在全球裁员1万人，约占公司员工总数的5% 1月23日，微软宣布对ChatGPT创建者OpenAI进行第三轮投资，将向OpenAI进行为期多年、

金额达数十亿美元的投资，以加速其在人工智能领域的技术突破

此外，微软还计划在未来几周内发布其Bing搜索引擎的GPT-4版本，预计该版本将比

ChatGPT模型更快、更强大;

国外公司;;

微软将ChatGPT视为新一代技术革命，将ChatGPT整合进Bing搜索引擎、Office全家桶、Azure云服务、Teams程序等产品中

微软近期宣布推出视频会议及远程协作平台的高级付费版MicrosoftTeamsPremium，订阅者可享用OpenAIGPT提供支持的大型语???模

型技术，用AI自动生成会议笔记，此举或对Zoom、谷歌会议等平台形成巨大冲击。;;;;;;

公司名称;;;;;

转移学习(TransferLearning)使基础模型成为可能

技术层面上，基础模型通过转移学习(TransferLearning)(Thrun1998)和规模(scale)得以实现。转移学习的思想是将从一项任务中学习到

的“知识”(例如，图像中的对象识别)应用于另一项任务(例如，视频中的活动识别)。

在深度学习中，预训练又是转移学习的主要方法：在替代任务上训练模型(通常只是达到目的的一种手段)，然后通过微调来适应感兴趣的

下游任务。转移学习(TransferLearning)使基础模型成为可能。

大规模化(scale)使基础模型更强大，因而GPT模型得以形成

大规模需要三个要素：(i)计算机硬件的改进——例如，GPU吞吐量和内存在过去四年中增加了10倍；(ii)Transformer模型架构的开发(Vaswanietal.2017)，该架构利用硬件的并行性来训练比以前更具表现力的模型；以及(iii)更多训练数据的可用性。

基于Transformer的序列建模方法现在应用于文本、图像、语音、表格数据、蛋白质序列、有机分子和强化学习等，这些例子的逐步形成使

得使用一套统一的工具来开发各种模态的基础模型这种理念得以成熟。例如，GPT-3(Brownetal.2020)与GPT-2的15亿参数相比，GPT-3具有1750亿个参数，允许上下文学习，在上下文学习中，只需向下游任务提供提示(任务的自然语言描述)，语言模型就可以适应下游任务，这是产生的一种新兴属性。;;;

ChatGPT——生成式AI迎来拐点，商用落地前景可期

GPT-1：借助预训练，进行无监督训练和有监督微调

GPT-1模型基于Transformer解除了顺序关联和依赖性的前提，采用生成式模型方式，重点考虑了从原始文本中有