量化选股模型解析：实现投资组合构建的强化学习框架-20230808-浙商证券-16页.pdf

证券研究报告 | 金融工程专题 金融工程专题 报告日期：2023 年08 月08 日 g 实现投资组合构建的强化学习框架 ——量化选股模型解析 核心观点 分析师：陈奥林 执业证书号：S1230523040002 本文介绍近期研究发表的三种强化学习选股模型，从数据特征、网络结构、以及如何 chenaolin@ 通过强化学习框架实现模型优化三个方面，对每种模型进行剖析，为量化投资管理人 相关报告 提供投资组合优化的新思路。 1 《量化投资算法前瞻：强化学 ❑ 量化选股模型通过强化学习实现了组合收益和风险控制的优化 习》 2023.07.06 本文剖析了三个使用深度神经网络和强化学习结合的选股模型，与传统动量、多 因子选股等模型进行回测比较，在2000 年之后均具有更高的风险收益性价比。例 如，可灵活调节组合优化目标函数，构建股票多空组合的AlphaPortfolio 相较于传 统多因子模型构建的组合，年化超额收益达 13%以上；利用策略梯度算法优化模 型的DeepTrader 模型，将股票评估与市场择时相结合，控制空头比例，不仅提升 了组合收益，其最大回撤仅为基准的一半甚至更少；而MetaTrader 则通过Q 学习 的方法在预先训练的多元化策略中动态选取执行策略，在三大指数成分股上构建 组合的收益超越基准 15%~40%不等。 ❑ 从AlphaPortfolio 等模型看深度强化学习算法实现投资组合构建的两种模式 三种模型体现了强化学习应用的两种模式：一是使用先进的网络模型在强化学习 框架下动态更新，模型结构与传统监督学习差异并不大，可以人为地设定周期定 期重新训练，也可以通过强化的方式实现模型自适应，AlphaPortfolio 和DeepTrader 即提供了两个实例；二是依据算法特点充分模拟投资决策，以MetaTrader 为例， 不仅从单策略层面学习差异化的多策略，而且元策略学习得到的智能体，可类比 为投资经理代理（PM-agent ），其奖励函数的设计体现了投资经理在选择实盘策略 时的考量，算法应用也从选股层面上升到了策略组合层面。 ❑ 使用深度强化学习实现选股模型，依赖新型的网络结构，更要充分结合投资目 标和实际场景设计要素 将深度强化学习应用于选股策略，既需要在网络结构上化繁为简的精巧设计，也 依赖一些新的样本/路径构造方法出现来解决数据不足的现状。从目前的应用来 看，深度学习模型解决特征、关系表征，而强化学习优化了参数的更新与搜索， 以及各模块/ 网络之间的信息流如何传导的问题。识别出哪些场景适合强化学习， 并恰当地设定状态和动作等，是强化学习算法能否成功落地的关键。 ❑ 风险提示 1. 正文本报告中包含公开发表的文献整理的模型结果，涉及的收益指标等结果 的解释性请参考原始文献。2. 本报告构建的策略框架中所提及的交易均指模拟 交易，回测结果是基于历史数据的统计归纳，模型力求自适应跟踪市场规律和趋 势，但仍存失效可能。 1/ 16 请务必阅读正文之后的免责条款部分 金融工程专题