原创力文档- 1、本文档共45页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
ISSN1004?9037，CODENSCYCE4
JournalofDataAcquisitionandProcessingVol.39，No.3，May2024，pp.524-546DOI：10.16337/j.1004?9037.2024.03.003
?2024byJournalofDataAcquisitionandProcessing
http：//sjcj.nuaa.edu.cn E?mail：sjcj@nuaa.edu.cnTel/Fax：+86?025垂直领域大模型的定制化：理论基础与关键技术
陈浩泷1，2，陈罕之1，韩凯峰3，朱光旭1，2，赵奕晨4，杜滢3
（1.深圳市大数据研究院，深圳518172；2.香港中文大学（深圳）理工学院，深圳518172；3.中国信息通信研究院，北京100191；4.中国移动通信集团终端有限公司，北京100033）
摘要：随着ChatGPT等基于大模型的产品展现出强大的通用性能，学术界和工业界正积极探索如何将这些模型适配到特定行业和应用场景中，即进行垂直领域大模型的定制化。然而，现有的通用大模型可能无法完全适配特定领域数据的格式，或不足以捕捉该领域的独特需求。因此，本文旨在探讨垂直领域大模型定制化的方法论，包括大模型的定义和类别、通用架构的描述、大模型有效性背后的理论基础，以及几种可行的垂直领域大模型构建方法，期望通过这些内容为相关领域的研究者和从业者在垂直领域大模型定制化方面提供指导和参考。
关键词：人工智能；垂直领域大模型；多模态大模型；预训练大模型；大模型微调
中图分类号：TP183文献标志码：A
Domain?SpecificFoundation?ModelCustomization:TheoreticalFoundationandKeyTechnology
CHENHaolong1，2，CHENHanzhi1，HANKaifeng3，ZHUGuangxu1，2，ZHAOYichen4，DUYing3
(1.ShenzhenResearchInstituteofBigData,Shenzhen518172,China;2.SchoolofScienceandEngineering,theChineseUniversityofHongKong(Shenzhen),Shenzhen518172,China;3.ChinaAcademyofInformationandCommunicationsTechnology,Beijing100191,China;4.ChinaMobileGroupDeviceCo.Ltd.,Beijing100033,China)
Abstract：AsChatGPTandotherfoundation-model-basedproductsdemonstratepowerfulgeneralperformance，bothacademiaandindustryareactivelyexploringhowtoadaptthesemodelstospecificindustriesandapplicationscenarios，aprocessknownasthecustomizationofdomain-specificfoundationmodels.However，theexistinggeneral-purposefoundationmodelsmaynotfullyaccommodatethepatternsofdomain-specificdataorfailtocapturetheuniqueneedsofthefield.Therefore，thispaperaimstodiscussthemethodologyforcustomizingdomain-specificfoundationmodels，includingthedefinitionandtypesoffoundationmodels，thedescriptionoftheirgeneralarchitecture，thetheoretical
文档评论（0）