20230509-基于蒸馏大模型的金融文本信息挖掘应用探索.pdfVIP

基于蒸馏大模型的金融文本信息挖掘应用探索

机器学习系列——数据治理专题（四）｜2023.5.9

▍▍

中信证券研究部核心观点

本报告聚焦语义大模型对金融文本的标签提取和信息挖掘，基于自主微调后的

版本，对常规金融文本进行挖掘分析，实现市场关注度、投资情绪以及市场分

歧等分析指标落地。从投资效果看，基于开源的GLM微调后去构建情绪指标，

并构建月频Top50选股策略，相对于沪深300指数的年化超额收益率达到

24.2%（2018-01至2023-03）。随着大模型开源生态，面向泛金融文本的大

模型搭建、微调与应用投资创新值得持续关注。对于大模型落地，我们可提供

张若海数据与算法的专业技术赋能，对于投资应用，文本蒸馏大有可为。

数据科技首席

分析师▍大模型助力NLP迈向NLU，金融文本大数据挖掘及其衍生策略值得持续关注。

S1010516090001随着AIGC的高速发展，预训练大模型的参数量持续增加已经达到万亿级别，

同时在大量NLP任务中均取得领先效果。借助大模型更强的文本理解和文本处

理能力，本文以财经新闻、分析师研报和公司公告为例，开展文本挖掘探索。

▍金融文本提供市场消息面信息，开展文本挖掘分析有助于掌握投资先机。随着

信息化发展，很多影响市场的信息最先以文本方式进行传播，大量文本包含对

上市公司经营状况的正面或负面描述。例如分析师研报一方面可以抽取形成分

析师因子，另一方面对于公司的观点和描述同样具有隐含的增量信息和挖掘价

伍家豪值。我们基于蒸馏大模型标注的情绪指标构建月频Top50选股策略，相对于沪

数据科技分析师深300年化超额收益达到24.2%（回测区间为2018-01-01至2023-03-31）。

S1010522090002

▍面向金融文本信息挖掘的大模型微调流程：1）考虑数据安全和可及性，选择百

度文心ERNIE3.0Tiny预训练模型并下载；2）使用雪球和Wind有情感标注的

金融舆情文本微调模型；3）将微调后的模型在无标注的财经新闻、分析师研报

摘要以及公司公告上提取信息并预测情感。

▍使用微调后的大模型完成文本分析并构建应用指标：

（1）关注度指标：监控市场热点变化。使用微调后的大模型提取新闻中相关上

市公司，并构建上市公司关注度指标。结果显示，2022年以来，行业龙头关注

度高，关注度排名前十的个股中九成超百亿市值；从行业来看，2023年3月关

注度最高的三个行业分别为计算机、通信和建筑。

（2）情绪指标：对收益率有一定的预测能力。2017年以来，分析师情绪指标

在沪深300、中证500以及全A中的覆盖率分别为98%、90%和59%，且覆盖

率随时间推移逐渐上升。经过我们统计，指标与基本面、收益率相关联，情绪

取值越高的股票