AI算法研究系列-量化行业配置：策略梯度算法-240605-浙商证券-15页.pdf

证券研究报告|金融工程专题

金融工程专题报告日期：2024年06月05日

量化行业配置：策略梯度算法

——AI算法研究系列

核心观点分析师：陈奥林

执业证书号：S1230523040002

本文利用强化学习领域中的策略梯度类算法改进量化行业配置模型，从特征提取、样chenaolin@

本构造，和参数更新多个方面进行优化，提供一个风险收益性价比更优的周频价量行

相关报告

业配置策略。

1《资产荒下的演绎：红利行情

❑基于价值的算法实现行业轮动的得与失未结束》2024.05.26

强化学习算法在因子挖掘、收益预测、投资组合构建，和交易执行等多个投资环2《政策利好提振预期，地产板

节均有应用。在前期研究中，我们以强化学习中的时序差分算法作为切入点，对

块估值修复》2024.05.23

指数择时和行业配置进行了实践。

3《低估值修复：由红马到地

在跟踪行业配置模型过程中，权益市场行情经历了较大波动，模型效果也受到了

一定挑战，在年初2月2日、2月5日仅2个交易日就出现了约4.7%的超额回撤，产》2024.05.19

之后超额恢复增长趋势，但其波动水平明显上升。这一回撤引出了策略模型亟待

解决的问题——如何降低风格突变对策略模型的扰动。周频调仓使信号的敏感度

下降，在市场风格出现日级别单边偏移的情况下被动承受亏损；另一方面，由于

我们在指数择时和行业配置中使用的奖励（reward）是和未来5日收益率高度正

相关的指标，亏损期间的负反馈将直接影响模型学习的方向，并且当市场风格恢

复时，模型又需要新的时间重新调整适应。在这种情况下，强化学习框架所带来

的动态适应成了双刃剑，即使得策略模型能在不同的局部最优间平滑过渡，又使

得短时间的行情扰动影响策略模型所接收到的市场反馈。

❑策略梯度类算法如何提升行业轮动策略的风险收益比：

策略梯度类算法在决策过程中，不再对行业进行打分判断，即不再评估每个行业

的配置价值，而是调整策略模型配置该行业的概率，通过一段时间行业配置的收

益反馈调整行业配置的概率分布。在市场风格出现日级别单边偏移的情况下，直

接修改每个行业的配置价值的模型大概率会被动承受亏损；另一方面，原有配置

模型中使用的奖励（reward）是和未来5日收益率高度正相关的指标，亏损期间的

负反馈将直接影响模型学习的方向，并且当市场风格恢复时，模型又需要新的时

间重新调整适应。在这种情况下，修改行业配置的概率分布，而非修改行业配置

得分，能有效避免短时间的行情扰动对决策的影响。

❑优化后的行业配置策略回测表现如何：

整体上来看，补充了价量形态的视觉信息，使用任一策略梯度算法均能有效提升

其组合收益。经过预训练对比，表现最优的模型为依据SAC算法构建的配置模型

产生的行业组合，在2021年6月以来（统计至2024年4月30日）年化超额收益

在16%以上，相较于常见宽基指数（中证800）的超额收益或在22%以上。策略

表现相较于此前的基于价值算法构建的模型，有效降低了回撤和波动率水平。

❑风险提示

本报告构建的策略框架中所提及的交易均指模拟交易，回测结果是基于历史数据

的统计归纳，收